[데이터 엔지니어링 데브코스 4기] 3주차 10/4 TIL
·
데이터 엔지니어링 데브코스
오늘은 셀레니움을 이용한 웹 스크래핑과 이벤트 발생에 대해서 공부하고, BeautifulSoup를 이용한 기상청 스크래핑 후 시각화를 진행하였습니다! 새로운 기술을 배우고 실습하는 건 재밌지만, 어렵기도 하네요.. 오늘은 기분이 그저 그랬는데, 예전에 작성했었던 공채 지원 하나가 서탈한 걸 지금 보고 조금 우울해졌어요 ㅋㅋㅋㅋ...(+ 학생때는 서탈은 거의 안해서 그런가..) 채용난이 점점 심해지고, 개발자라는 레드 오션에 빠져서 나아가려다보니, 항상 이 길이 나한테 맞는걸까 하는 생각이 들 때가 많아요.물론 데브코스를 포기할 생각은 없지만, 안 좋은 일이 겹치다 보니 제가 취업할 수 있을까 하는 생각이 많아지는 것 같아요. 오늘 TIL에 작성할 공부 내용은 각각 포스팅하여 글을 작성하여 속마음과 회고록..
[Selenium] 셀레니움 다뤄보기 - 3 (마우스, 키보드 이벤트)
·
크롤링, 스크래핑, 시각화/Selenium
최대한 오늘 공부한 내용은 오늘 정리해야, 나중에 제 블로그를 다시 보면서 복습할 때 도움이 되지 않을까 싶어서 많이 작성하게 되네요 ㅋㅋㅋ.. 오늘 알아볼 내용은 셀레니움의 마우스, 키보드 이벤트입니다! 간단한 설명과 실습으로 진행하도록 하겠습니다!! 마우스, 키보드 이벤트?마우스, 키보드 이벤트는 말 그대로 마우스, 키보드를 사용하는 것처럼 selenium을 통해 마우스, 키보드로 발생시킬 수 있는 이벤트를 보내는 작업 입니다! 순서는 이벤트를 발생시키고자 하는 요소 찾기! -> 이전 포스팅의 요소 추출을 참고하시면 좋아요! (https://jh-codingdiary.tistory.com/35)이벤트를 발생시키고자 하는 내용을 특정 메소드를 통해 전달!-> 메소드에 대한 설명은 하단 링크에서 확인하실..
[Selenium] 셀레니움 다뤄보기 - 2 (wait, XPATH)
·
크롤링, 스크래핑, 시각화/Selenium
이전 포스팅에서는 셀레니움의 설치 방법을 알아보았다면, 이번에는 셀레니움을 통해 웹 스크래핑을 진행하여 직접 다뤄보는 방법에 대해서 설명하겠습니다! Wait ?wait은 말 그대로 대기입니다!셀레니움은 동적 웹 사이트를 스크래핑, 크롤링 하기 위한 용도로 많이 사용하기에 동적 웹 사이트의 주소를 불러오려면 컴퓨터, 인터넷 성능에 따라 불러오는 시간이 달라질 수 있습니다. 그렇기에 가져오려는 데이터가 로드될 때까지의 시간이 존재해야 데이터를 안정적으로 끌고올 수 있습니다! 셀레니움은 이를 해결하기 위해 2가지의 대기 상태를 지원합니다.Implicit Wait(암묵적 대기) : 시간을 정해놓고 웹 페이지 전체 로딩이 완료될 때까지 지정 시간 동안 기다린다!Explicit Wait(명시적 대기) : 해당 태그..