Spark 모니터링

2020/04/03 - [BigData/Spark] - spark linux install (Master / Worker)

2020/04/06 - [BigData/Spark] - spark sql

2020/04/06 - [BigData/Spark] - Spark 모니터링

2020/04/06 - [BigData/Spark] - Spark Dataset

2020/04/06 - [BigData/Spark] - Spark Dataset 데이터 조회 예제

2020/04/06 - [BigData/Spark] - Dataset DataFrame Convert

2020/04/06 - [BigData/Spark] - Spark submit

Spark 모니터링

Master 에서 실행한 8080 Port로 접속 할수 있으며,

워커를 실행하고 나면 워커 목록에 나타난다.

etc.

Windows 구동 HADOOP_HOME PATH 설정 (winutils)

윈도우에서 spark 실행시 winutils.exe 위치를 물어본다.(하둡버전용 윈도우 바이너리위치)

steveloughran/winutils

http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe

$HADOOP_HOME 설정

System.setProperty("hadoop.home.dir", "full path to the folder with winutils");

스파크 Web UI (History)

4040 웹서버는 애플리케이션이 실행 중일때 유효함. 응용프로그램이 종료되고나면 더이상 사용할수 없음(http://localhost:4040) 히스토리 서버(18080)를 이용하면 과거에 실행 되었다가 현재는 실행이 종료된 애플리케이션으 정보를 확인 할 수 있다.

 

# history server(18080)를 실행 하기 위한 환경 설정 변경 
vim ./conf/spark-defaults.conf
...
spark.master                     spark://210.221.235.193:7077
spark.eventLog.enabled           true  # 이벤트 로그 주석 해제
# spark.eventLog.dir               hdfs://namenode:8021/directory
spark.serializer                 org.apache.spark.serializer.KryoSerializer
# spark.driver.memory              5g
# spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
...

# 로그가 저장될 폴더 생성 
mkdir /tmp/spark-events

# 히스토리 서버 실행 (url -> http://{ip}:18080 )
./sbin/start-history-server.sh