반응형
Notice
Recent Posts
Recent Comments
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
Tags
- Spring Open Feign
- spring boot
- Docker Compose
- spring cloud
- vue.js
- weblogic 10
- Redis Sentinel
- KAFKA
- MySQL
- jmeter
- docker compose mysql
- docker
- WebLogic
- Netty
- JPA
- ChannelPipeline
- mybatis
- netflix oss
- redis
- RabbitMQ
- Hibernate
- grafana
- spring boot redis
- Airflow
- docker-compose
- coalesce
- Selenium
- argo cd
- cassandra
- QueryDSL
Archives
- Today
- Total
목록Spark example (1)
IT.FARMER
Spark 설치 및 실습
https://spark.apache.org/downloads.html 에서 최신 스파크 다운로드 하둡을 별도 로 설치 하지 않을것임으로 2번에서 빌트인된 하둡을 다운받는다. 여기선 최신 2.7 다운tar 파일 압축해제 후 spark-shell.cmd 를 실행한다. ${SPARK_HOME} 에있는 README.md 파일을 읽어 워드카운트를 세는 샘플을 실행한다. scala> val lines = sc.textFile("README.md")lines: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] at textFile at :24 scala> val words = lines.flatMap(line=> line.split(""))words..
BigData/Spark
2017. 6. 16. 10:06