한글창제의 기쁨

Spark ML pipeline(https://spark.apache.org/docs/latest/ml-pipeline.html)1. DataProcessing    형태소 분석기를 사용하여 단어 추출2. Featurize     데이터를 기계 학습 알고리즘이 이해 할 수 있는 숫자로 변환.2.1. Term Frequency    TF => 특정 단어가 (문서에) 몇번 등장 했는지 ..

https://spark.apache.org/downloads.html 에서 최신 스파크 다운로드하둡을 별도 로 설치 하지 않을것임으로 2번에서 빌트인된 하둡을 다운받는다.  여기선 최신 2.7 다운tar 파일 압축해제 후 spark-shell.cmd 를 실행한다.${SPARK_HOME} 에있는 README.md 파일을 읽어 워드카운트를 세는 샘플을 실행한다.scala> val lines = sc.textFile("README..