먹고 기도하고 코딩하라

개요 : Python3 + BeautifulSoup4로 하는 웹크롤링 하는 것 : Python3 문법 톺아보기 + BeautifulSoup4 초간단 익히기 + 멜론 TOP100 크롤링 실습 소요 시간 : 1시간~1시간 30분 작년 2학기에 난 휴학하고 토플 공부를 하고 있었다. 코로나 없는 평행세계의 나는 지금쯤 미국 뉴욕주의 어느 학교에서 새학기 적응을 하고 있겠으나... 난 코로나로 파견이 불발되고 그냥 복학을 하기로 했다. 글을 시작하자마자 샛길로 빠졌는데 휴학생도 학교의 공동 자율학습(?) 프로그램에 참여할 수 있어서 친구들과 함께 주제를 정해서 자기가 잘 아는 걸 발표하기로 했다. 내가 아는 것 중에 친구들이 제일 관심있게 공부할 만한 게 뭐가 있을까 곰곰이 생각하다가 우리 모두 파이썬은 기본 ..

이전 글 보기 카카오톡 학식봇 만들기(1) - 동적 웹페이지 크롤링 방법이 정적 웹페이지와 다른 이유 이전 시리즈 : 카카오 i 오픈빌더 챗봇 만들기 파이썬 장고로 카카오 i 오픈빌더 챗봇 만들기 (1) - 가상환경 설정, Django 프로젝트와 앱 만들기 Python Django 카카오 i 오픈빌더 챗봇 만들기 튜토리얼� dev-dain.tistory.com 이번 포스팅에서는 Amazon EC2 컴퓨터에 웹 크롤링을 위한 이런저런 라이브러리를 설치해보고 직접 웹페이지를 크롤링하는 코드까지 짜는 것을 다룹니다. 굳이 Amazon EC2 컴퓨터일 필요는 없습니다. 그냥 Linux Ubuntu 환경이라면 가능하지만, Amazon EC2로 특정한 이유는 저의 작업 환경이기도 하고 CLI 환경이 아니면 이따 쓸..

이 포스팅은 beautifulsoup4 에서 가장 잘 쓰이고 간단하게 쓸 수 있는 핵심 문법들을 정리하기 위해 쓰였습니다. 여기서는 웹페이지의 소스 코드에서 우리가 원하는 부분을 골라내는 방법과 beautifulsoup4 로 원하는 정보만 쏙 뽑아내는 것에 주안점을 두겠습니다. 주의하실 점은 동적 웹페이지에서는 이 방법이 먹히지 않을 수 있다는 것입니다. 브라우저 엔진으로 스크립트를 해석해야 하는 경우 selenium 과 웹 드라이버를 설치해야 할 수 있습니다. 이 방법에 대해서는 저의 다른 포스팅에서 더 자세하게 다루고 있으니 참고하시기 바랍니다. 기본적으로 정적 웹페이지를 크롤링하는 방법을 다룹니다. 시작해보겠습니다. 일단 저는 우리 학교 소스 코드에서 날짜와 요일, 그리고 학생식과 교직원식을 뽑아내..

이전 시리즈 : 카카오 i 오픈빌더 챗봇 만들기 파이썬 장고로 카카오 i 오픈빌더 챗봇 만들기 (1) - 가상환경 설정, Django 프로젝트와 앱 만들기 Python Django 카카오 i 오픈빌더 챗봇 만들기 튜토리얼에 오신 것을 환영합니다. 이 시리즈는 Amazon EC2로 서버 컴퓨터를 받은 뒤 실제로 학식봇의 기본이 되는 서버 설정을 하고 간단한 스킬을 만드� dev-dain.tistory.com 안녕하십니까? 이 시리즈는 카카오 i 오픈빌더로 학식 봇을 만드는 과정을 다룹니다. 이 포스팅은 그 중 HTML 페이지 구조 분석을 먼저 합니다. 여기서 다루는 정적 페이지가 아닌 동적 페이지임을 염두에 두시길 바랍니다. 정적 페이지의 경우 이 글보다 더 쉬운 방법으로 접근이 가능합니다. 저는 저희 학..