안녕하세요!! 김줘입니다!! 오늘도 어제와 동일하게 Kafka에 대한 강의가 이어졌습니다!! Spark - Kafka 해당 구간에서 집중도가 떨어지는 것도 있고, 난이도가 이전에 배운 기술보다 높다고 생각되어, ML에 대한 강의가 이어지는 구간에 Airflow, Spark, Kafka에 대한 공부를 더 하려고 합니다!! Kafka에 대한 후속 포스팅은 너무 늦지않게 진행하도록 하겠습니다!! 공부 내용에 대한 작성이 없어서, 작성해야하나.. 하는 생각이 들 때가 있는데,TIL이면서도 제 일기이자 회고록이니까 꾸준히 작성해나가겠습니다!! 오늘도 봐주시는 여러분 감사합니다!!

안녕하세요!! 김줘입니다!! 오늘은 드디어 새롭게 Kafka에 대한 강의가 이루어졌습니다!!정리한 내용은 아래 포스팅에서 확인 가능합니다!! 2024.12.05 - [데이터/Kafka] - [Kafka] 1. Kafka?2024.12.05 - [데이터/Kafka] - [Kafka] 2. Partition & Segment 이번 주는 이상하게 집중이 잘 되지 않아서 강의를 쭉 듣지를 못하네요..그래서 기분 전환을 위해 거의 4개월 동안 기른 머리를 내일 자르려고 합니다 ㅋㅋㅋㅋㅋㅋ!집에서 강의만 듣고 하다보니, 그런건가 싶어서 최종프로젝트 전에 머리도 자르고, 친구들과 약속도 다 나가려고 합니다! 그리고 요즘 재태크, 1인 사업에도 관심이 조금 생겨서 조금씩 찾아보고 있는데,아직은 엄두가 안나네요 ㅋㅋㅋㅋ..

Kafka Partition에 대한 내용은 [Kafka] 1. Kafka? 에서 확인하실 수 있습니다!Partition & Segment하나의 Partition은 여러개의 Segment로 구성Segment는 변경된지 않고 추가만 되는 로그 파일이라고 볼 수 있음 -> *Commit Log*Commit LogSequential, Immutable, Append-OnlyReplication과 Fault Tolerance의 최소 단위Data Recovery나 Replay에 사용 가능WAL (Write Ahead Logging)데이터 무결성과 신뢰성을 보장하는 표준 방식데이터베이스에 대한 모든 변경 사항을 먼저 Commit Log에 기록각 Segment는 디스크 상에 존재하는 하나의 파일Segment는 최대 크..