[데이터 엔지니어링 데브코스 4기] 5주차 10/14 TIL
·
데이터 엔지니어링 데브코스
반갑읍니다 여러분!! 오늘도 늦은 밤 죽지 않고 돌아온 김...줘..입니다.. 이번 5주차에 들어서는 앞서 배운 크롤링과 스크래핑, Django를 통한 웹 페이지 시각화 프로젝트를 진행하고 있습니다! 기존 저희 팀은 7명으로 구성되어있었고, 해당 인원을 한 팀으로 진행해도 되지만, 각자 관심 주제나 개인의 생각을 고려하여 2개의 조로 나누어 진행하기로 했습니다! 저희 팀은 3명으로 구성하여, 주제는 만개의 레시피의 월간 랭킹 스크래핑을 통해 시각화를 해주는 방안으로 진행하고 있습니다!나머지 4분은 AI 관련 지식이 있는 분으로 구성이 되어있어, 기업 관련 뉴스 감정 분석으로 진행한다고 합니다! 저도 과거에 배달음식에 대한 감정 분석 프로젝트를 진행한 경험이 있지만, 프로젝트 기간이 4일로 짧고, Djan..
[시각화] WordCloud, konlpy
·
크롤링, 스크래핑, 시각화/시각화
이번 포스팅에서는 BeautifulSoup를 통해 제 블로그를 스크래핑 후 wordcloud와 konlpy를 통해 형태소를 분석 후 텍스트 구름을 만들어보려고 합니다! 길게 말하면 재미없으니, 바로 설명과 코드를 보시죠! WordCloud?wordcloud는 파이썬의 텍스트 클라우드 라이브러리로, 말 그대로 텍스트 구름을 그릴 수 있는 시각화 라이브러리입니다! konlpykonlpy는 한국어 형태소 분석기 라이브러리로, 문장 내에서 원하는 명사, 부사 등과 같은 요소를 뽑아내는 데 사용하는 라이브러리입니다! 설치pip install wordcloudpip install konlpy 실습 코드# 과도한 요청을 방지하기 위해 0.5초마다 요청 보내기!import timefrom bs4 import Beaut..
[Selenium] 셀레니움 다뤄보기 - 3 (마우스, 키보드 이벤트)
·
크롤링, 스크래핑, 시각화/Selenium
최대한 오늘 공부한 내용은 오늘 정리해야, 나중에 제 블로그를 다시 보면서 복습할 때 도움이 되지 않을까 싶어서 많이 작성하게 되네요 ㅋㅋㅋ.. 오늘 알아볼 내용은 셀레니움의 마우스, 키보드 이벤트입니다! 간단한 설명과 실습으로 진행하도록 하겠습니다!! 마우스, 키보드 이벤트?마우스, 키보드 이벤트는 말 그대로 마우스, 키보드를 사용하는 것처럼 selenium을 통해 마우스, 키보드로 발생시킬 수 있는 이벤트를 보내는 작업 입니다! 순서는 이벤트를 발생시키고자 하는 요소 찾기! -> 이전 포스팅의 요소 추출을 참고하시면 좋아요! (https://jh-codingdiary.tistory.com/35)이벤트를 발생시키고자 하는 내용을 특정 메소드를 통해 전달!-> 메소드에 대한 설명은 하단 링크에서 확인하실..