안녕하세요!! 오늘도 돌아온 김줘입니다!! 저번주 금요일에 말씀드린 것과 같이,Kafka에 대한 포스팅은 제가 학습하는대로 포스팅을 진행하겠습니다!! 너무 짧게 작성하기는 아쉬우니 TMI를 말하자면..주말에 오랜만에 약속을 멀리 나갈 일이 있어, 오랜만에 조금 많이 걷게 되었는데...발 핏줄이 다 터졌습니다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 아프다 이런 느낌은 없는데,추운 날씨에 많이 걷다보니 피부가 놀란 것 같아요! 추가로 최종 프로젝트를 위한 주제를 이번주 수요일까지 정해야하는데,스트리밍은 데이터를 직접 제공하는 Producer를 만들어야한다는 단점이 있어, 멘토님께서도 배치 방식을 체계적으로 작성하는 것을 추천하셔서 어떤 주제를 할 지 정말 고민이 많이 되네요! 거의 한 달동안 진행하는 프로젝트이기에 팀원 모두의 ..

안녕하세요!! 김줘입니다!! 오늘도 어제와 동일하게 Kafka에 대한 강의가 이어졌습니다!! Spark - Kafka 해당 구간에서 집중도가 떨어지는 것도 있고, 난이도가 이전에 배운 기술보다 높다고 생각되어, ML에 대한 강의가 이어지는 구간에 Airflow, Spark, Kafka에 대한 공부를 더 하려고 합니다!! Kafka에 대한 후속 포스팅은 너무 늦지않게 진행하도록 하겠습니다!! 공부 내용에 대한 작성이 없어서, 작성해야하나.. 하는 생각이 들 때가 있는데,TIL이면서도 제 일기이자 회고록이니까 꾸준히 작성해나가겠습니다!! 오늘도 봐주시는 여러분 감사합니다!!

안녕하세요!! 김줘입니다!! 오늘은 드디어 새롭게 Kafka에 대한 강의가 이루어졌습니다!!정리한 내용은 아래 포스팅에서 확인 가능합니다!! 2024.12.05 - [데이터/Kafka] - [Kafka] 1. Kafka?2024.12.05 - [데이터/Kafka] - [Kafka] 2. Partition & Segment 이번 주는 이상하게 집중이 잘 되지 않아서 강의를 쭉 듣지를 못하네요..그래서 기분 전환을 위해 거의 4개월 동안 기른 머리를 내일 자르려고 합니다 ㅋㅋㅋㅋㅋㅋ!집에서 강의만 듣고 하다보니, 그런건가 싶어서 최종프로젝트 전에 머리도 자르고, 친구들과 약속도 다 나가려고 합니다! 그리고 요즘 재태크, 1인 사업에도 관심이 조금 생겨서 조금씩 찾아보고 있는데,아직은 엄두가 안나네요 ㅋㅋㅋㅋ..

Kafka Partition에 대한 내용은 [Kafka] 1. Kafka? 에서 확인하실 수 있습니다!Partition & Segment하나의 Partition은 여러개의 Segment로 구성Segment는 변경된지 않고 추가만 되는 로그 파일이라고 볼 수 있음 -> *Commit Log*Commit LogSequential, Immutable, Append-OnlyReplication과 Fault Tolerance의 최소 단위Data Recovery나 Replay에 사용 가능WAL (Write Ahead Logging)데이터 무결성과 신뢰성을 보장하는 표준 방식데이터베이스에 대한 모든 변경 사항을 먼저 Commit Log에 기록각 Segment는 디스크 상에 존재하는 하나의 파일Segment는 최대 크..

Kafka?분산형 메시지 브로커 시스템으로, 실시간 데이터 스트리밍, 로그 수집, 이벤트 처리 등에 사용Scalability와 Fault Tolerance를 제공하는 Publish-Subscription 메시징 시스템High Throughput과 Low Latency 실시간 데이터 처리에 맞게 구현됨분산 아키텍처를 따르기 때문에 Scale Out 형태로 스케일 조정 가능특징분산 시스템여러 브로커(서버)로 구성된 클러스터에서 작동데이터의 복제와 분산 처리를 통해 안정성과 확장성을 보장스트림 처리실시간 스트림 처리를 목표로하는 서비스ksqlDB를 통해 SQL로도 실시간 이벤트 데이터 처리 가능토픽 기반 메시징데이터는 논리적 파이프라인인 토픽에 저장되며, 프로듀서가 토픽에 데이터를 게시하면 컨슈머가 구독메시지..