목록크롤링 (4)

ai-creator

[Python] Selenium 사용법 + 구글 검색 자동화

> Selenium 문서 : https://selenium-python.readthedocs.io/index.html ㅁ 라이브러리 설치 $ pip install selenium ㅁ 크롬 웹 드라이버 설치 다운로드 우리가 개발한 파이썬 크롤링 소프트웨어에서 크롬(chrome)브라우저의 기능을 이용하도록 하기 위해서 웹드라이버(web driver)를 설치해야 합니다. > windows 더보기 1) 크롬 버전을 확인 합니다. 2) 크롬 버전에 맞는 웹드라이버를 다운로드 합니다. > 다운로드 URL : http://chromedriver.chromium.org/downloads > MacOS 더보기 $ brew cask install chromedriver 정상 설치 되었다면, 다음과 같이 설치경로 + 성공 ..
오늘 배워 오늘 쓰는 OpenAPI/프로젝트 2020. 5. 16. 05:55
[Python] Selenium - 동적페이지 크롤링

분명 개발자도구(크롬: 오른쪽 마우스 > 검사)를 통해 HTML코드가 보이는데, 파이썬에서 requests 라이브러리를 이용해서 정상 response를 받았음에도 html 코드값이 없는 경우가 있습니다. 웹에 대한 이해가 없는 경우 정말 많은 시간을 허비하게 되는 순간이기도 합니다. 그러면 정적페이지 / 동적페이지는 과연 무엇일까요? # 정적 페이지 vs 동적 페이지 단어의 의미를 보면 > 정적 = 고정되어 있는 > 동적 = 변경되는 으로 이해할 수 있습니다. 정적페이지의 경우, 언제 접속해도 같은 리소스를 건네주는 웹사이트이며, 이미 작성된 프로그램 코드를 그대로 클라이언트의 브라우저에 건내줍니다. 즉, 웹 서버가 정적 웹 페이지에 대한 요청을 받은 경우 서버는 추가적인 처리 과정 없이 클라이언트에게 ..
오늘 배워 오늘 쓰는 OpenAPI/프로젝트 2020. 5. 16. 05:35
웹크롤링 - Beautiful Soup 사용법 + 영화 리뷰 크롤링 (3/3)

BeautifulSoup라이브러리를 사용하지 않아도 웹 크롤러를 만드는 것은 충분히 가능하며, 다른 라이브러리들도 사용할 수 있다. 그러나 BeautifulSoup을 사용할 경우 보다 손쉽게 원하는 정보를 추출할 수 있다. Requests로 가져온 파일을 파이썬이 해석가능한 트리구조의 객체(BeautifulSoup)로 변환시켜 이 객체를 사용하여 분석 및 추출을 용이하게 해준다. # 사용법 BeautifulSoup은 정말 많은 기능을 가지고 있다. 그래서 BeautifulSoup부분만 가지고도 두꺼운 책 한권이 나올 정도이다. 하지만 우리는 모든 기능을 다 볼수는 없고 웹 크롤러를 만드는데 반드시 필요한 부분만 요약해서 살펴보겠다. Beautiful Soup의 자세한 정보는 참고사이트를 참조하도록 하자...
오늘 배워 오늘 쓰는 OpenAPI/프로젝트 2020. 5. 9. 13:47
[Python/Windows] Selenium 크롤러 - 네이버 자동 로그인 (캡차 해결 버전)

python프로그램을 통해서 네이버 자동 로그인을 수행하고자 합니다. 네이버 로그인의 경우, 다양한 웹사이트에서 연동하여 사용하고 있죠? 그러니, 네이버 자동 로그인 프로그램을 만들어 놓으면, 네이버 계정 연동을 해 놓은 사이트들 모두 사용가능하다는 의미입니다^^ ㅁ 라이브러리 설치 $ pip install selenium $ pip install pyperclip ㅁ 크롬 웹 드라이버 설치 다운로드 우리가 개발한 파이썬 크롤링 소프트웨어에서 크롬(chrome)브라우저의 기능을 이용하도록 하기 위해서 웹드라이버(web driver)를 설치해야 합니다. > windows 더보기 1) 크롬 버전을 확인 합니다. 2) 크롬 버전에 맞는 웹드라이버를 다운로드 합니다. > 다운로드 URL : http://chro..
오늘 배워 오늘 쓰는 OpenAPI/Quick Start 2020. 3. 10. 12:08
Prev 1 Next