오늘은 셀레니움을 이용한 웹 스크래핑과 이벤트 발생에 대해서 공부하고, BeautifulSoup를 이용한 기상청 스크래핑 후 시각화를 진행하였습니다! 새로운 기술을 배우고 실습하는 건 재밌지만, 어렵기도 하네요.. 오늘은 기분이 그저 그랬는데, 예전에 작성했었던 공채 지원 하나가 서탈한 걸 지금 보고 조금 우울해졌어요 ㅋㅋㅋㅋ...(+ 학생때는 서탈은 거의 안해서 그런가..) 채용난이 점점 심해지고, 개발자라는 레드 오션에 빠져서 나아가려다보니, 항상 이 길이 나한테 맞는걸까 하는 생각이 들 때가 많아요.물론 데브코스를 포기할 생각은 없지만, 안 좋은 일이 겹치다 보니 제가 취업할 수 있을까 하는 생각이 많아지는 것 같아요. 오늘 TIL에 작성할 공부 내용은 각각 포스팅하여 글을 작성하여 속마음과 회고록..

최대한 오늘 공부한 내용은 오늘 정리해야, 나중에 제 블로그를 다시 보면서 복습할 때 도움이 되지 않을까 싶어서 많이 작성하게 되네요 ㅋㅋㅋ.. 오늘 알아볼 내용은 셀레니움의 마우스, 키보드 이벤트입니다! 간단한 설명과 실습으로 진행하도록 하겠습니다!! 마우스, 키보드 이벤트?마우스, 키보드 이벤트는 말 그대로 마우스, 키보드를 사용하는 것처럼 selenium을 통해 마우스, 키보드로 발생시킬 수 있는 이벤트를 보내는 작업 입니다! 순서는 이벤트를 발생시키고자 하는 요소 찾기! -> 이전 포스팅의 요소 추출을 참고하시면 좋아요! (https://jh-codingdiary.tistory.com/35)이벤트를 발생시키고자 하는 내용을 특정 메소드를 통해 전달!-> 메소드에 대한 설명은 하단 링크에서 확인하실..

이전 포스팅에서는 셀레니움의 설치 방법을 알아보았다면, 이번에는 셀레니움을 통해 웹 스크래핑을 진행하여 직접 다뤄보는 방법에 대해서 설명하겠습니다! Wait ?wait은 말 그대로 대기입니다!셀레니움은 동적 웹 사이트를 스크래핑, 크롤링 하기 위한 용도로 많이 사용하기에 동적 웹 사이트의 주소를 불러오려면 컴퓨터, 인터넷 성능에 따라 불러오는 시간이 달라질 수 있습니다. 그렇기에 가져오려는 데이터가 로드될 때까지의 시간이 존재해야 데이터를 안정적으로 끌고올 수 있습니다! 셀레니움은 이를 해결하기 위해 2가지의 대기 상태를 지원합니다.Implicit Wait(암묵적 대기) : 시간을 정해놓고 웹 페이지 전체 로딩이 완료될 때까지 지정 시간 동안 기다린다!Explicit Wait(명시적 대기) : 해당 태그..

이제 셀레니움을 본격적으로 다루어보려고 합니다!저 또한 처음 사용하는 내용이나 마찬가지이므로, 잘못된 부분이 있으면 댓글 부탁드려요!By?By는 셀레니움에서 웹 특정 요소를 찾기 위해 사용하는 방법을 지정하는 데 사용되는 모듈입니다!from selenium.webdriver.common.by import ByBy에는 다양한 속성이 존재하는데 이에 대해 설명해보겠습니다!!By.ID : 요소의 id 속성으로 탐색element = driver.find_element(By.ID, 'element_id')By.NAME : 요소의 name 속성으로 탐색element = driver.find_element(By.NAME, 'element_name')By.XPATH : 요소의 XPATH 표현식을 통해 탐색element..

해당 글은 이미 파이썬을 설치했다는 가정 하에 작성하였습니다! Selenium 이란?셀레니움은 웹 애플리케이션 자동화 및 테스트를 위한 포터블 프레임워크입니다!저는 동적 웹을 크롤링, 스크래핑 하기 위해서 설치를 진행하였고, 어렵지 않으니 관심이 있으신 분은 쉽게 따라하실 수 있습니다!테스트는 크롬 브라우저 환경에서 진행하니, 크롬을 사전에 설치해주셔야 합니다!! 설치 과정셀레니움 설치pip install selenium    2. 웹 브라우저와의 연동을 위한 WebDriver 설치pip install selenium-> WebDriver는 웹 브라우저를 제어, 테스트 할 수 있는 자동화 툴 입니다!    3. 셀레니움 import 후 테스트!from selenium import webdriverfrom..