[Selenium] 셀레니움 다뤄보기 - 2 (wait, XPATH)
·
크롤링, 스크래핑, 시각화/Selenium
이전 포스팅에서는 셀레니움의 설치 방법을 알아보았다면, 이번에는 셀레니움을 통해 웹 스크래핑을 진행하여 직접 다뤄보는 방법에 대해서 설명하겠습니다! Wait ?wait은 말 그대로 대기입니다!셀레니움은 동적 웹 사이트를 스크래핑, 크롤링 하기 위한 용도로 많이 사용하기에 동적 웹 사이트의 주소를 불러오려면 컴퓨터, 인터넷 성능에 따라 불러오는 시간이 달라질 수 있습니다. 그렇기에 가져오려는 데이터가 로드될 때까지의 시간이 존재해야 데이터를 안정적으로 끌고올 수 있습니다! 셀레니움은 이를 해결하기 위해 2가지의 대기 상태를 지원합니다.Implicit Wait(암묵적 대기) : 시간을 정해놓고 웹 페이지 전체 로딩이 완료될 때까지 지정 시간 동안 기다린다!Explicit Wait(명시적 대기) : 해당 태그..
[Selenium] 셀레니움 다뤄보기 - 1 (By, 요초 추출)
·
크롤링, 스크래핑, 시각화/Selenium
이제 셀레니움을 본격적으로 다루어보려고 합니다!저 또한 처음 사용하는 내용이나 마찬가지이므로, 잘못된 부분이 있으면 댓글 부탁드려요!By?By는 셀레니움에서 웹 특정 요소를 찾기 위해 사용하는 방법을 지정하는 데 사용되는 모듈입니다!from selenium.webdriver.common.by import ByBy에는 다양한 속성이 존재하는데 이에 대해 설명해보겠습니다!!By.ID : 요소의 id 속성으로 탐색element = driver.find_element(By.ID, 'element_id')By.NAME : 요소의 name 속성으로 탐색element = driver.find_element(By.NAME, 'element_name')By.XPATH : 요소의 XPATH 표현식을 통해 탐색element..
[Selenium] 셀레니움 설치 방법
·
크롤링, 스크래핑, 시각화/Selenium
해당 글은 이미 파이썬을 설치했다는 가정 하에 작성하였습니다! Selenium 이란?셀레니움은 웹 애플리케이션 자동화 및 테스트를 위한 포터블 프레임워크입니다!저는 동적 웹을 크롤링, 스크래핑 하기 위해서 설치를 진행하였고, 어렵지 않으니 관심이 있으신 분은 쉽게 따라하실 수 있습니다!테스트는 크롬 브라우저 환경에서 진행하니, 크롬을 사전에 설치해주셔야 합니다!! 설치 과정셀레니움 설치pip install selenium    2. 웹 브라우저와의 연동을 위한 WebDriver 설치pip install selenium-> WebDriver는 웹 브라우저를 제어, 테스트 할 수 있는 자동화 툴 입니다!    3. 셀레니움 import 후 테스트!from selenium import webdriverfrom..