Kafka?분산형 메시지 브로커 시스템으로, 실시간 데이터 스트리밍, 로그 수집, 이벤트 처리 등에 사용Scalability와 Fault Tolerance를 제공하는 Publish-Subscription 메시징 시스템High Throughput과 Low Latency 실시간 데이터 처리에 맞게 구현됨분산 아키텍처를 따르기 때문에 Scale Out 형태로 스케일 조정 가능특징분산 시스템여러 브로커(서버)로 구성된 클러스터에서 작동데이터의 복제와 분산 처리를 통해 안정성과 확장성을 보장스트림 처리실시간 스트림 처리를 목표로하는 서비스ksqlDB를 통해 SQL로도 실시간 이벤트 데이터 처리 가능토픽 기반 메시징데이터는 논리적 파이프라인인 토픽에 저장되며, 프로듀서가 토픽에 데이터를 게시하면 컨슈머가 구독메시지..

안녕하세요! 김줘입니다!! 오늘은 어떠한 기술의 이론, 실습에 대한 강의가 아닌,한기용 강사님의 데이터 관련 경험과 실시간 데이터 처리의 등장 배경과 어떠한 것인지에 대한 간략한 설명이 이루어졌습니다!! 실시간 데이터 처리에 대한 등장 배경, 이론에 대해 포스팅을 할까.. 고민도 했지만,이후 이어지는 Kafka 강의와 관련해서 포스팅을 진행하는게 좋다고 판단되어, 빠른 시일 내에 Kafka와 같이 포스팅하도록 하겠습니다! 오늘 포스팅이 많이 짧아서 작성하기 애매하지만(?) ㅋㅋㅋ정리할 내용이 없더라도 제 기록을 남기는 일기장으로 사용하기로 했기에 평일에는 꾸준히 작성하도록 할게요!  짧고 두서없는 글이지만,오늘도 봐주시는 여러분 감사합니다!!

안녕하세요!! 김줘입니다!! 오늘은 특별한 일 없이 Spark에 대한 강의 중심으로 이루어졌습니다! 아쉬운 점은 Spark EMR 실습 시 클러스터 비용이 높은 것을 실습 과제로 내주어서, 따라하기 부담이 되었던 점 입니다...AWS 지원이 최종 프로젝트에만 지원되는 만큼 수강생이 부담없이 할 수 있는 과제, 실습으로 구성이 되었으면 좋겠습니다..! ML에 대한 예제 실습도 2가지 강의가 진행되었는데,설명과 예제가 포스팅하기에 미흡하다고 생각되어, 제외하고 Spark EMR에 대한 포스팅만 진행했습니다!! 해당 내용은 아래 포스팅에서 확인하실 수 있습니다! 2024.12.03 - [데이터/Spark] - [Spark] 8. Spark with AWS 그리고 Spark를 Standalone으로 실행시켰을 ..