안녕하세요!! 김줘입니다!!! 벌써 11월을 지나 12월이 되었네요!! 프로그래머스 데이터 엔지니어링 데브코스도 정말 막바지를 향해가고 있습니다.제가 취업을 할 수 있을 지는 의문이기는 하네요... 긴 취준 기간에도 포기하지 않고 열심히 하시는 분들이 참 대단한 것 같아요. 기술, 지식 포스팅이 늦어지는 이유가... 다름 아닌 로컬 환경에서의 Spark 오류가 너무 심해서 실습 진행 진도가 나가지를 않아요..Spark Web UI를 통해 확인하는 실습을 하고 있는데, Redshift 커넥션을 위해 jars 파일을 사용하면 실행이 되지를 않네요..! 우선 진도와 배운 내용 정리가 우선이기에,해당 오류를 보류하고 먼저 Spark 포스팅을 시작하려고 합니다. -> 완료!2024.12.03 - [데이터/Spar..

안녕하세요!! 김줘입니다!! 오늘도 어제에 이어서 Spark 강의를 듣다가 피곤해서 기절해버렸답니다 ㅋㅋㅋㅋ 오늘 배운 Spark 내용에 대한 정리는 빠른 시일 내에 포스팅하도록 하겠습니다!!(+ 포스팅 완료하면 해당 포스트 링크 걸어두도록 하겠습니다!! -> 완료!)2024.12.02 - [데이터/Spark] - [Spark] 2. Spark Session2024.12.02 - [데이터/Spark] - [Spark] 3. Spark SQL 분명 많이 잔 것 같은데, 겁나 피곤하네요..! 저는 그럼 남은 강의를 듣고 포스팅하도록 하겠습니다!! 오늘도 봐주시는 여려분 감사합니다!!

안녕하세요! 김줘입니다!! 오늘은 오전부터 실시간 강의 3시간이 있어서 굉장히 진빠지는 날이었습니다..강의 이후 최종 팀 구성에 대한 공지가 이루어져 이후 게속 관련 얘기가 오가느라 조금 피곤한 날이네요! 우선 오늘은 Hadoop과 Spark에 대한 간략한 설명이 이어졌습니다.Hadoop에 대한 설명을 자세하게 정리할까 생각도 있지만, 데브코스는 Spark에 중점을 두고 강의가 진행되기에 Hadoop의 핵심 개념인 YARN에 대한 정리와 Spark의 이론에 대해 간단히 포스팅을 했습니다! 2024.11.28 - [데이터] - [Hadoop] 1. YARN?2024.11.28 - [데이터] - [Spark] 1. Spark? 자세한 내용은 해당 포스팅에서 확인하실 수 있습니다!! 벌써 데브코스 과정이 막바..