이번 포스팅에서는 BeautifulSoup를 통해 제 블로그를 스크래핑 후 wordcloud와 konlpy를 통해 형태소를 분석 후 텍스트 구름을 만들어보려고 합니다! 길게 말하면 재미없으니, 바로 설명과 코드를 보시죠! WordCloud?wordcloud는 파이썬의 텍스트 클라우드 라이브러리로, 말 그대로 텍스트 구름을 그릴 수 있는 시각화 라이브러리입니다! konlpykonlpy는 한국어 형태소 분석기 라이브러리로, 문장 내에서 원하는 명사, 부사 등과 같은 요소를 뽑아내는 데 사용하는 라이브러리입니다! 설치pip install wordcloudpip install konlpy 실습 코드# 과도한 요청을 방지하기 위해 0.5초마다 요청 보내기!import timefrom bs4 import Beaut..

해당 글은 이미 파이썬을 설치했다는 가정 하에 작성하였습니다! Selenium 이란?셀레니움은 웹 애플리케이션 자동화 및 테스트를 위한 포터블 프레임워크입니다!저는 동적 웹을 크롤링, 스크래핑 하기 위해서 설치를 진행하였고, 어렵지 않으니 관심이 있으신 분은 쉽게 따라하실 수 있습니다!테스트는 크롬 브라우저 환경에서 진행하니, 크롬을 사전에 설치해주셔야 합니다!! 설치 과정셀레니움 설치pip install selenium    2. 웹 브라우저와의 연동을 위한 WebDriver 설치pip install selenium-> WebDriver는 웹 브라우저를 제어, 테스트 할 수 있는 자동화 툴 입니다!    3. 셀레니움 import 후 테스트!from selenium import webdriverfrom..

오늘은 웹 크롤링, 웹 스크래핑에 대한 교육에 앞서, 그에 대한 이론과 실습을 진행하였습니다!! 예전에.. 아주 먼 옛날.. 셀레니움으로 크롤링을 한 번 해본 경험이 있던 것 같긴한데... 까마득해요.. 또 데이터 관리 인턴 시절.. 인턴 동기끼리 크롤링? 스크래핑? 을 통해 여러 간단한 프로그램도 만들어봤는데, 사실상 백지 상태인거같아요 ㅋㅋㅋㅋ 오늘 배운 내용은 실습 및 개념 위주라 개념과 BeautilfulSoup를 어떻게 사용하는 지 간단하게 코드를 정리해보았습니다!개념 및 정리Web : 인터넷에서 정보를 교환할 수 있는 하나의 플랫폼!웹 페이지는 HTML 형식으로 되어있고, 웹 브라우저는 클라이언트가 HTTP 요청을 보낸 후, 응답받은 HTML 코드를 랜더링 해준다!웹 크롤링 vs 웹 스크래핑웹..