[데이터 엔지니어링 데브코스 4기] 4주차 10/7 TIL
·
데이터 엔지니어링 데브코스
오늘은 wordcloud와 BeautifulSoup를 이용한 웹 스크래핑 및 시각화를 먼저 진행하고,Django 기초에 대해서 학습하였습니다. 최대한 많은 내용을 포스팅하고자 하지만, 지적재산권에 걸리는 경우가 있다하여, 최대한 Chatgpt와 구글, 공식 포탈에서의 내용과 코드 변환을 통해 정보를 드리고 있습니다! (+ 많이 봐주세요. 그러니까...ㅋ) Django 또한 기초적인 개념이 잡히지 않은 채, 예전에 한 번 사용한 경험이 있습니다.역시 백지상태였지만, 설명을 듣고 실습을 진행하니 빠르게 이해가 되는 것 같습니다! 오늘 공부한 내용은2024.10.07 - [크롤링, 스크래핑, 시각화/시각화] - [시각화] WordCloud, konlpy2024.10.07 - [Django] - [Django]..
[데이터 엔지니어링 데브코스 4기] 3주차 10/4 TIL
·
데이터 엔지니어링 데브코스
오늘은 셀레니움을 이용한 웹 스크래핑과 이벤트 발생에 대해서 공부하고, BeautifulSoup를 이용한 기상청 스크래핑 후 시각화를 진행하였습니다! 새로운 기술을 배우고 실습하는 건 재밌지만, 어렵기도 하네요.. 오늘은 기분이 그저 그랬는데, 예전에 작성했었던 공채 지원 하나가 서탈한 걸 지금 보고 조금 우울해졌어요 ㅋㅋㅋㅋ...(+ 학생때는 서탈은 거의 안해서 그런가..) 채용난이 점점 심해지고, 개발자라는 레드 오션에 빠져서 나아가려다보니, 항상 이 길이 나한테 맞는걸까 하는 생각이 들 때가 많아요.물론 데브코스를 포기할 생각은 없지만, 안 좋은 일이 겹치다 보니 제가 취업할 수 있을까 하는 생각이 많아지는 것 같아요. 오늘 TIL에 작성할 공부 내용은 각각 포스팅하여 글을 작성하여 속마음과 회고록..
[데이터 엔지니어링 데브코스 4기] 3주차 10/2 TIL
·
데이터 엔지니어링 데브코스
오늘은 웹 크롤링, 웹 스크래핑에 대한 교육에 앞서, 그에 대한 이론과 실습을 진행하였습니다!! 예전에.. 아주 먼 옛날.. 셀레니움으로 크롤링을 한 번 해본 경험이 있던 것 같긴한데... 까마득해요.. 또 데이터 관리 인턴 시절.. 인턴 동기끼리 크롤링? 스크래핑? 을 통해 여러 간단한 프로그램도 만들어봤는데, 사실상 백지 상태인거같아요 ㅋㅋㅋㅋ 오늘 배운 내용은 실습 및 개념 위주라 개념과 BeautilfulSoup를 어떻게 사용하는 지 간단하게 코드를 정리해보았습니다!개념 및 정리Web : 인터넷에서 정보를 교환할 수 있는 하나의 플랫폼!웹 페이지는 HTML 형식으로 되어있고, 웹 브라우저는 클라이언트가 HTTP 요청을 보낸 후, 응답받은 HTML 코드를 랜더링 해준다!웹 크롤링 vs 웹 스크래핑웹..