안녕하세요!! 김줘입니다!! 오늘도 어제와 동일하게 Kafka에 대한 강의가 이어졌습니다!! Spark - Kafka 해당 구간에서 집중도가 떨어지는 것도 있고, 난이도가 이전에 배운 기술보다 높다고 생각되어, ML에 대한 강의가 이어지는 구간에 Airflow, Spark, Kafka에 대한 공부를 더 하려고 합니다!! Kafka에 대한 후속 포스팅은 너무 늦지않게 진행하도록 하겠습니다!! 공부 내용에 대한 작성이 없어서, 작성해야하나.. 하는 생각이 들 때가 있는데,TIL이면서도 제 일기이자 회고록이니까 꾸준히 작성해나가겠습니다!! 오늘도 봐주시는 여러분 감사합니다!!

안녕하세요!! 김줘입니다!! 오늘은 드디어 새롭게 Kafka에 대한 강의가 이루어졌습니다!!정리한 내용은 아래 포스팅에서 확인 가능합니다!! 2024.12.05 - [데이터/Kafka] - [Kafka] 1. Kafka?2024.12.05 - [데이터/Kafka] - [Kafka] 2. Partition & Segment 이번 주는 이상하게 집중이 잘 되지 않아서 강의를 쭉 듣지를 못하네요..그래서 기분 전환을 위해 거의 4개월 동안 기른 머리를 내일 자르려고 합니다 ㅋㅋㅋㅋㅋㅋ!집에서 강의만 듣고 하다보니, 그런건가 싶어서 최종프로젝트 전에 머리도 자르고, 친구들과 약속도 다 나가려고 합니다! 그리고 요즘 재태크, 1인 사업에도 관심이 조금 생겨서 조금씩 찾아보고 있는데,아직은 엄두가 안나네요 ㅋㅋㅋㅋ..

안녕하세요! 김줘입니다!! 이제는 일기가 되어버린듯한 TIL 포스팅입니다 ㅋㅋㅋㅋ! 오늘로써 데이터 엔지니어링 데브코스의 3차 프로젝트가 마무리 되었습니다!! 데이터 스케줄링 시간과 프로젝트 사이즈가 조금 아쉽지만, 데이터 수집부터 시각화까지 Airflow를 이용해서 프로젝트를 진행했다는 점에서 참 좋았던 것 같습니다! 시각화 결과물을 조금 보여드리자면, 이러한 시각화 차트가 다양하게 있습니다! 제 담당인 암호화폐 시각화 중 일부만 가져온 것이고, 데이터는 Binance API를 통해 수집했습니다! 어제도 말씀드렸지만, 이번 프로젝트에서 추가로 아쉬운 점은,데이터 양이 적은 점AWS 비용 최소화를 위해 EC2를 사용하지 않고 Redshift만 사용한 점명확한 세부 주제 설정입니다!! 이제 앞으로 최종 프..