Spark SessionSpark 프로그램의 시작은 Spark Session의 생성프로그램마다 하나를 만들어 Spark Cluster와 통신 -> Singleton 객체Spark 2.0에서 처음 소개Spark Session을 통해 Spark가 제공해주는 다양한 기능 사용DataFrame, SQL, Streaming, ML API 모두 해당 객체로 통신config 메소드를 이용해 다양한 환경설정 가능단, RDD와 관련된 작업을 할 때는 SparkSession 밑의 sparkContext 객체를 사용Spark Session API 문서Spark 세션 생성 예제from pyspark.sql import SparkSession# SparkSession - Singletonspark = SparkSession.b..

안녕하세요!! 김줘입니다!!! 벌써 11월을 지나 12월이 되었네요!! 프로그래머스 데이터 엔지니어링 데브코스도 정말 막바지를 향해가고 있습니다.제가 취업을 할 수 있을 지는 의문이기는 하네요... 긴 취준 기간에도 포기하지 않고 열심히 하시는 분들이 참 대단한 것 같아요. 기술, 지식 포스팅이 늦어지는 이유가... 다름 아닌 로컬 환경에서의 Spark 오류가 너무 심해서 실습 진행 진도가 나가지를 않아요..Spark Web UI를 통해 확인하는 실습을 하고 있는데, Redshift 커넥션을 위해 jars 파일을 사용하면 실행이 되지를 않네요..! 우선 진도와 배운 내용 정리가 우선이기에,해당 오류를 보류하고 먼저 Spark 포스팅을 시작하려고 합니다. -> 완료!2024.12.03 - [데이터/Spar..

안녕하세요!! 김줘입니다!! 오늘도 어제에 이어서 Spark 강의를 듣다가 피곤해서 기절해버렸답니다 ㅋㅋㅋㅋ 오늘 배운 Spark 내용에 대한 정리는 빠른 시일 내에 포스팅하도록 하겠습니다!!(+ 포스팅 완료하면 해당 포스트 링크 걸어두도록 하겠습니다!! -> 완료!)2024.12.02 - [데이터/Spark] - [Spark] 2. Spark Session2024.12.02 - [데이터/Spark] - [Spark] 3. Spark SQL 분명 많이 잔 것 같은데, 겁나 피곤하네요..! 저는 그럼 남은 강의를 듣고 포스팅하도록 하겠습니다!! 오늘도 봐주시는 여려분 감사합니다!!