같은 코드를 위는 Window, 아래는 Linux (WSL환경) 에서 실행 시킨 것인데 윈도우에는 이미 설치된 chrome 을 사용하였고, 리눅스에서는 wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb sudo dpkg -i google-chrome-stable_current_amd64.deb 위 명령어로 stable_current 를 설치 했다. 결과가 조금 차이를 보이는것 같아서 좀 더 파봤다. (-> 나중에 왜 저런 차이를 보이는지 확실하게 파악하기) Chrome과 Chromium: 어떤 차이가 있나? 최근, 우리는 웹 브라우저의 중요성에 대해 더욱 인식하게 되었습니다. 그중에서도 Google Chrome은 ..

from selenium import webdriver from selenium.webdriver.common.by import By import time import pandas as pd import requests url = "https://trends.google.co.kr/trends/trendingsearches/daily?geo=KR&hl=ko" chrome_driver_path = 'path/to/chromedriver' driver = webdriver.Chrome() driver.get(url) time.sleep(5) driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") load_more_button = dr..

전에는 [ ['date1', [트렌드1,요약1,검색수1,링크1],...date1의 개수만큼...] ['date2', [트렌드2,요약2,검색수2,링크2],...date2의 개수만큼...] ...] 이런 복잡한 3중 구조의 리스트로 저장해뒀는데. 정리가 필요하다. columns = ['날짜', '이슈', '제목', '조회수', '링크'] rows = [] for i in trend_list: date = i[0] for trend in i[1:]: row = [date] + trend rows.append(row) df = pd.DataFrame(rows, columns=columns) 이를 실행하면 잘 정리 되었다.. import pandas as pd import requests from datetime..

인사이트나 데이터 셋을 만들기 가장 좋은 것은 직접 수집하는 것이다. 내가 형식을 설정할수도 있고, 내 입맛에 맞는 정보들을 얻을 수 있기 때문이다. 또한 남의 영향을 덜 받는다. 한국에서 그나마 가장 중립적인 시선이 구글 실시간 검색 같아. 구글 트렌드를 크롤링 하여 데이터셋으로 모아보기로 하였다. from selenium import webdriver from selenium.webdriver.common.by import By import time url = "https://trends.google.co.kr/trends/trendingsearches/daily?geo=KR&hl=ko" chrome_driver_path = 'path/to/chromedriver' driver = webdriver...