안녕하세요!! 김줘입니다!! 오늘도 어제와 동일하게 Kafka에 대한 강의가 이어졌습니다!! Spark - Kafka 해당 구간에서 집중도가 떨어지는 것도 있고, 난이도가 이전에 배운 기술보다 높다고 생각되어, ML에 대한 강의가 이어지는 구간에 Airflow, Spark, Kafka에 대한 공부를 더 하려고 합니다!! Kafka에 대한 후속 포스팅은 너무 늦지않게 진행하도록 하겠습니다!! 공부 내용에 대한 작성이 없어서, 작성해야하나.. 하는 생각이 들 때가 있는데,TIL이면서도 제 일기이자 회고록이니까 꾸준히 작성해나가겠습니다!! 오늘도 봐주시는 여러분 감사합니다!!

안녕하세요!! 김줘입니다!! 오늘은 드디어 새롭게 Kafka에 대한 강의가 이루어졌습니다!!정리한 내용은 아래 포스팅에서 확인 가능합니다!! 2024.12.05 - [데이터/Kafka] - [Kafka] 1. Kafka?2024.12.05 - [데이터/Kafka] - [Kafka] 2. Partition & Segment 이번 주는 이상하게 집중이 잘 되지 않아서 강의를 쭉 듣지를 못하네요..그래서 기분 전환을 위해 거의 4개월 동안 기른 머리를 내일 자르려고 합니다 ㅋㅋㅋㅋㅋㅋ!집에서 강의만 듣고 하다보니, 그런건가 싶어서 최종프로젝트 전에 머리도 자르고, 친구들과 약속도 다 나가려고 합니다! 그리고 요즘 재태크, 1인 사업에도 관심이 조금 생겨서 조금씩 찾아보고 있는데,아직은 엄두가 안나네요 ㅋㅋㅋㅋ..

Kafka Partition에 대한 내용은 [Kafka] 1. Kafka? 에서 확인하실 수 있습니다!Partition & Segment하나의 Partition은 여러개의 Segment로 구성Segment는 변경된지 않고 추가만 되는 로그 파일이라고 볼 수 있음 -> *Commit Log*Commit LogSequential, Immutable, Append-OnlyReplication과 Fault Tolerance의 최소 단위Data Recovery나 Replay에 사용 가능WAL (Write Ahead Logging)데이터 무결성과 신뢰성을 보장하는 표준 방식데이터베이스에 대한 모든 변경 사항을 먼저 Commit Log에 기록각 Segment는 디스크 상에 존재하는 하나의 파일Segment는 최대 크..

Kafka?분산형 메시지 브로커 시스템으로, 실시간 데이터 스트리밍, 로그 수집, 이벤트 처리 등에 사용Scalability와 Fault Tolerance를 제공하는 Publish-Subscription 메시징 시스템High Throughput과 Low Latency 실시간 데이터 처리에 맞게 구현됨분산 아키텍처를 따르기 때문에 Scale Out 형태로 스케일 조정 가능특징분산 시스템여러 브로커(서버)로 구성된 클러스터에서 작동데이터의 복제와 분산 처리를 통해 안정성과 확장성을 보장스트림 처리실시간 스트림 처리를 목표로하는 서비스ksqlDB를 통해 SQL로도 실시간 이벤트 데이터 처리 가능토픽 기반 메시징데이터는 논리적 파이프라인인 토픽에 저장되며, 프로듀서가 토픽에 데이터를 게시하면 컨슈머가 구독메시지..

안녕하세요! 김줘입니다!! 오늘은 어떠한 기술의 이론, 실습에 대한 강의가 아닌,한기용 강사님의 데이터 관련 경험과 실시간 데이터 처리의 등장 배경과 어떠한 것인지에 대한 간략한 설명이 이루어졌습니다!! 실시간 데이터 처리에 대한 등장 배경, 이론에 대해 포스팅을 할까.. 고민도 했지만,이후 이어지는 Kafka 강의와 관련해서 포스팅을 진행하는게 좋다고 판단되어, 빠른 시일 내에 Kafka와 같이 포스팅하도록 하겠습니다! 오늘 포스팅이 많이 짧아서 작성하기 애매하지만(?) ㅋㅋㅋ정리할 내용이 없더라도 제 기록을 남기는 일기장으로 사용하기로 했기에 평일에는 꾸준히 작성하도록 할게요!  짧고 두서없는 글이지만,오늘도 봐주시는 여러분 감사합니다!!