목록크롤링 (2)

노트

[Python] Selenium으로 중고나라 크롤링 후 MySQL에 저장

안녕하세요! 이번엔 중고나라를 크롤링했습니다. 예전에 과제로 했던거라 기억은 잘 안나지만 최대한 써볼게요! 제가 크롤링한 부분은 중고나라의 미개봉 새상품 목록입니다. 크롤링할 데이터는 아래 내용입니다. . Selenium을 사용하기 위해서는 chrome web-driver가 필요한데 제 이전 게시물에서 설명했으니까 참고해 주세요. 참고로 저는 주피터 노트북으로 작업했습니다. . . . ln[1]: #중고나라에서 크롤링으로 데이터 뽑기 from selenium import webdriver import time driver = webdriver.Chrome('C:/Users/samsung/Downloads/chromedriver') driver.get('https://cafe.naver.com/joongg..
코딩/Python 2020. 1. 11. 17:22
파이썬을 이용한 유튜브 채널 크롤링, csv파일로 만들기

안녕하세요! 과제에 사용할 데이터를 뽑으려고 크롤러를 만들었습니다. 데이터는 제목, 동영상의 길이, 채널명, 구독자 수, 조회수, 올린지 얼마나 되었는지(업로드 시점), 그리고 현재 시간 이렇게 총 7종류를 뽑았습니다. 저는 BeautifulSoup4를 사용했고, 스크롤을 내려 더 많은 데이터를 뽑기 위해서 Selenium도 사용하였습니다. . 먼저 데이터를 뽑고싶은 유튜브 채널을 켜줍니다. 이제 이 페이지의 코드를 뽑아볼건데 뽑기 전에 Selenium에서 사용할 chromedriver를 설치해 줍니다. 링크에 들어가면 크롬 버전이 여러 개 있는데 크롬정보에 들어가면 버전을 알 수 있습니다. 다운로드 받고 경로를 기억해 둡니다. Selenium을 사용한 이유는 스크롤을 내리지 않고 그냥 코드를 뽑으면 데..
코딩/Python 2019. 5. 21. 01:09
Prev 1 Next