먹고 기도하고 코딩하라

예전에는 beautifulsoup4를 이용해서 크롤링을 했는데, 이번에는 selenium으로 하기로 했습니다. 당장 필요한 코드를 짜기 위해 필수적인 사용법만 익히고 바로 사용했습니다. beautifulsoup4와 셀렉팅하는 방식이 유사해서 사용하는 게 그리 어렵지는 않았네요. 아래의 글 두 개를 참고해서 코드를 짰습니다. Python Selenium 사용법 [파이썬 셀레늄 사용법, 크롤링] 나만의 웹 크롤러 만들기(3): Selenium으로 무적 크롤러 만들기 초기 목표는 올리브영 상품 크롤링이었지만 올리브영 홈페이지의 robots.txt를 까본 결과.. 구글과 네이버 크롤러 외의 다른 봇은 전체 페이지 크롤링 disallow하는 바람에 랄라블라로 돌리기로 했습니다. 그래서 원래 짜둔 올리브영 크롤링 ..