[데이터 엔지니어링 데브코스 4기] 12주차 12/5 TIL
·
데이터 엔지니어링 데브코스
안녕하세요!! 김줘입니다!! 오늘은 드디어 새롭게 Kafka에 대한 강의가 이루어졌습니다!!정리한 내용은 아래 포스팅에서 확인 가능합니다!! 2024.12.05 - [데이터/Kafka] - [Kafka] 1. Kafka?2024.12.05 - [데이터/Kafka] - [Kafka] 2. Partition & Segment 이번 주는 이상하게 집중이 잘 되지 않아서 강의를 쭉 듣지를 못하네요..그래서 기분 전환을 위해 거의 4개월 동안 기른 머리를 내일 자르려고 합니다 ㅋㅋㅋㅋㅋㅋ!집에서 강의만 듣고 하다보니, 그런건가 싶어서 최종프로젝트 전에 머리도 자르고, 친구들과 약속도 다 나가려고 합니다! 그리고 요즘 재태크, 1인 사업에도 관심이 조금 생겨서 조금씩 찾아보고 있는데,아직은 엄두가 안나네요 ㅋㅋㅋㅋ..
[데이터 엔지니어링 데브코스 4기] 12주차 12/4 TIL
·
데이터 엔지니어링 데브코스
안녕하세요! 김줘입니다!! 오늘은 어떠한 기술의 이론, 실습에 대한 강의가 아닌,한기용 강사님의 데이터 관련 경험과 실시간 데이터 처리의 등장 배경과 어떠한 것인지에 대한 간략한 설명이 이루어졌습니다!! 실시간 데이터 처리에 대한 등장 배경, 이론에 대해 포스팅을 할까.. 고민도 했지만,이후 이어지는 Kafka 강의와 관련해서 포스팅을 진행하는게 좋다고 판단되어, 빠른 시일 내에 Kafka와 같이 포스팅하도록 하겠습니다! 오늘 포스팅이 많이 짧아서 작성하기 애매하지만(?) ㅋㅋㅋ정리할 내용이 없더라도 제 기록을 남기는 일기장으로 사용하기로 했기에 평일에는 꾸준히 작성하도록 할게요!  짧고 두서없는 글이지만,오늘도 봐주시는 여러분 감사합니다!!
[데이터 엔지니어링 데브코스 4기] 12주차 12/3 TIL
·
데이터 엔지니어링 데브코스
안녕하세요!! 김줘입니다!! 오늘은 특별한 일 없이 Spark에 대한 강의 중심으로 이루어졌습니다! 아쉬운 점은 Spark EMR 실습 시 클러스터 비용이 높은 것을 실습 과제로 내주어서, 따라하기 부담이 되었던 점 입니다...AWS 지원이 최종 프로젝트에만 지원되는 만큼 수강생이 부담없이 할 수 있는 과제, 실습으로 구성이 되었으면 좋겠습니다..! ML에 대한 예제 실습도 2가지 강의가 진행되었는데,설명과 예제가 포스팅하기에 미흡하다고 생각되어, 제외하고 Spark EMR에 대한 포스팅만 진행했습니다!! 해당 내용은 아래 포스팅에서 확인하실 수 있습니다! 2024.12.03 - [데이터/Spark] - [Spark] 8. Spark with AWS 그리고 Spark를 Standalone으로 실행시켰을 ..