일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
- KAFKA
- weblogic 10
- cassandra
- vue.js
- docker-compose
- grafana
- Hibernate
- QueryDSL
- RabbitMQ
- redis
- WebLogic
- jmeter
- docker compose mysql
- mybatis
- JPA
- spring boot
- spring boot redis
- Airflow
- docker
- Redis Sentinel
- spring cloud
- Spring Open Feign
- netflix oss
- MySQL
- ChannelPipeline
- argo cd
- Netty
- coalesce
- Selenium
- Docker Compose
- Today
- Total
목록BigData (9)
IT.FARMER
2020/04/03 - [BigData/Spark] - spark linux install (Master / Worker) 2020/04/06 - [BigData/Spark] - spark sql 2020/04/06 - [BigData/Spark] - Spark 모니터링 2020/04/06 - [BigData/Spark] - Spark Dataset 2020/04/06 - [BigData/Spark] - Spark Dataset 데이터 조회 예제 2020/04/06 - [BigData/Spark] - Dataset DataFrame Convert 2020/04/06 - [BigData/Spark] - Spark submit 스칼라나, 자바의 경우엔 jar 파일로 묶어서 Spark 에게 잡을 준다. jav..
2020/04/03 - [BigData/Spark] - spark linux install (Master / Worker) 2020/04/06 - [BigData/Spark] - spark sql 2020/04/06 - [BigData/Spark] - Spark 모니터링 2020/04/06 - [BigData/Spark] - Spark Dataset 2020/04/06 - [BigData/Spark] - Spark Dataset 데이터 조회 예제 2020/04/06 - [BigData/Spark] - Dataset DataFrame Convert 2020/04/06 - [BigData/Spark] - Spark submit 데이터를 사용할때 JavaBean 의 List를 사용할때도, 반대로 List를 D..
2020/04/03 - [BigData/Spark] - spark linux install (Master / Worker) 2020/04/06 - [BigData/Spark] - spark sql 2020/04/06 - [BigData/Spark] - Spark 모니터링 2020/04/06 - [BigData/Spark] - Spark Dataset 2020/04/06 - [BigData/Spark] - Spark Dataset 데이터 조회 예제 2020/04/06 - [BigData/Spark] - Dataset DataFrame Convert 2020/04/06 - [BigData/Spark] - Spark submit Apache Spark Dataset 예제 Dataset 을 기본 Dataset ..
2020/04/03 - [BigData/Spark] - spark linux install (Master / Worker) 2020/04/06 - [BigData/Spark] - spark sql 2020/04/06 - [BigData/Spark] - Spark 모니터링 2020/04/06 - [BigData/Spark] - Spark Dataset 2020/04/06 - [BigData/Spark] - Spark Dataset 데이터 조회 예제 2020/04/06 - [BigData/Spark] - Dataset DataFrame Convert 2020/04/06 - [BigData/Spark] - Spark submit Dataset , DataFrame 데이터 세트는 분산된 데이터 모음이다. 데이터..
2020/04/03 - [BigData/Spark] - spark linux install (Master / Worker) 2020/04/06 - [BigData/Spark] - spark sql 2020/04/06 - [BigData/Spark] - Spark 모니터링 2020/04/06 - [BigData/Spark] - Spark Dataset 2020/04/06 - [BigData/Spark] - Spark Dataset 데이터 조회 예제 2020/04/06 - [BigData/Spark] - Dataset DataFrame Convert 2020/04/06 - [BigData/Spark] - Spark submit Spark 모니터링 Master 에서 실행한 8080 Port로 접속 할수 있으며..
2020/04/03 - [BigData/Spark] - spark linux install (Master / Worker) 2020/04/06 - [BigData/Spark] - spark sql 2020/04/06 - [BigData/Spark] - Spark 모니터링 2020/04/06 - [BigData/Spark] - Spark Dataset 2020/04/06 - [BigData/Spark] - Spark Dataset 데이터 조회 예제 2020/04/06 - [BigData/Spark] - Dataset DataFrame Convert 2020/04/06 - [BigData/Spark] - Spark submit Spark SQL Spark SQL 은 구조화된 데이터 작업을 위한 모듈 이다. ..
2020/04/03 - [BigData/Spark] - spark linux install (Master / Worker) 2020/04/06 - [BigData/Spark] - spark sql 2020/04/06 - [BigData/Spark] - Spark 모니터링 2020/04/06 - [BigData/Spark] - Spark Dataset 2020/04/06 - [BigData/Spark] - Spark Dataset 데이터 조회 예제 2020/04/06 - [BigData/Spark] - Dataset DataFrame Convert 2020/04/06 - [BigData/Spark] - Spark submit 메소스, 하둡얀 등 여러 에코시스템이 있지만, 순수 스파크만 이용할경우 spark..
Spark ML pipeline (https://spark.apache.org/docs/latest/ml-pipeline.html) 1. DataProcessing 형태소 분석기를 사용하여 단어 추출 2. Featurize 데이터를 기계 학습 알고리즘이 이해 할 수 있는 숫자로 변환. 2.1. Term Frequency TF => 특정 단어가 (문서에) 몇번 등장 했는지 나나내는값 Spark CountVectorizer 이용하여 TF Vector 를 구한다. --------------------------------------- |뉴스 ID | 스마트폰[0] | 공장[1] | 날찌 [2] | TF Vector 뉴스1 4 1 0 [4,1,0] 뉴스2 1 0 3 [1,0,3] 뉴스3 2 0 1 [2,0,1]..
https://spark.apache.org/downloads.html 에서 최신 스파크 다운로드 하둡을 별도 로 설치 하지 않을것임으로 2번에서 빌트인된 하둡을 다운받는다. 여기선 최신 2.7 다운tar 파일 압축해제 후 spark-shell.cmd 를 실행한다. ${SPARK_HOME} 에있는 README.md 파일을 읽어 워드카운트를 세는 샘플을 실행한다. scala> val lines = sc.textFile("README.md")lines: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] at textFile at :24 scala> val words = lines.flatMap(line=> line.split(""))words..