스파크 공부중 노트
소소하게 스파크 설치 체험중 (MacOS, JDK1.8)
작업 목표
스파크로 문서 내의 단어 세기 포스트그레스큐엘 접속하기 환경 변수
export SPARK_MASTER_IP=127.0.0.1 export SPARK_LOCAL_IP=127.0.0.1 export SCALA_HOME=/usr/local/scala export $PATH=$PATH:$SCALA_HOME/bin 스칼라 설치
http://www.scala-lang.org/download/2.10.5.html 에서 2.10.5 다운로드.
2.11은 안됨, brew는 기본이 2.11임 압축을 풀어서 /usr/local/scala 에 넣어두자. http://www.scala-sbt.org/release/tutorial/Manual-Installation.html 에서
jar 파일 다운로드후 /usr/local/scala/bin 에 넣음. 스파크 설치
http://spark.apache.org/ 에서 spark 1.5 다운로드하고 압축 풀기
cd spark-1.5.0 ./sbin/start-master.sh ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://localhost:7077 -c 1 -m 512M 프로젝트 생성 (프로젝트이름은 hanal)