안녕하세요!! 김줘입니다!! 오늘은 특별한 일 없이 Spark에 대한 강의 중심으로 이루어졌습니다! 아쉬운 점은 Spark EMR 실습 시 클러스터 비용이 높은 것을 실습 과제로 내주어서, 따라하기 부담이 되었던 점 입니다...AWS 지원이 최종 프로젝트에만 지원되는 만큼 수강생이 부담없이 할 수 있는 과제, 실습으로 구성이 되었으면 좋겠습니다..! ML에 대한 예제 실습도 2가지 강의가 진행되었는데,설명과 예제가 포스팅하기에 미흡하다고 생각되어, 제외하고 Spark EMR에 대한 포스팅만 진행했습니다!! 해당 내용은 아래 포스팅에서 확인하실 수 있습니다! 2024.12.03 - [데이터/Spark] - [Spark] 8. Spark with AWS 그리고 Spark를 Standalone으로 실행시켰을 ..

안녕하세요!! 김줘입니다!!! 벌써 11월을 지나 12월이 되었네요!! 프로그래머스 데이터 엔지니어링 데브코스도 정말 막바지를 향해가고 있습니다.제가 취업을 할 수 있을 지는 의문이기는 하네요... 긴 취준 기간에도 포기하지 않고 열심히 하시는 분들이 참 대단한 것 같아요. 기술, 지식 포스팅이 늦어지는 이유가... 다름 아닌 로컬 환경에서의 Spark 오류가 너무 심해서 실습 진행 진도가 나가지를 않아요..Spark Web UI를 통해 확인하는 실습을 하고 있는데, Redshift 커넥션을 위해 jars 파일을 사용하면 실행이 되지를 않네요..! 우선 진도와 배운 내용 정리가 우선이기에,해당 오류를 보류하고 먼저 Spark 포스팅을 시작하려고 합니다. -> 완료!2024.12.03 - [데이터/Spar..

안녕하세요!! 김줘입니다!! 오늘도 어제에 이어서 Spark 강의를 듣다가 피곤해서 기절해버렸답니다 ㅋㅋㅋㅋ 오늘 배운 Spark 내용에 대한 정리는 빠른 시일 내에 포스팅하도록 하겠습니다!!(+ 포스팅 완료하면 해당 포스트 링크 걸어두도록 하겠습니다!! -> 완료!)2024.12.02 - [데이터/Spark] - [Spark] 2. Spark Session2024.12.02 - [데이터/Spark] - [Spark] 3. Spark SQL 분명 많이 잔 것 같은데, 겁나 피곤하네요..! 저는 그럼 남은 강의를 듣고 포스팅하도록 하겠습니다!! 오늘도 봐주시는 여려분 감사합니다!!