spark 介绍及本地模式、集群模式安装

问题导读：

1.spark是什么？

2.spark都需要安装什么软件？

3.本地模式如何配置？

4.集群模式如何配置？

在安装spark之前，首先我们需要知道spark是什么？

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

更多内容可以参考科普Spark，Spark是什么，如何使用Spark（1）

下面我们开发安装

环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.7.2, Scala 2.9.3

折腾了几天，终于把Spark 集群安装成功了，其实比hadoop要简单很多，由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本，走了不少弯路。

1. 安装 JDK 1.7

yum search openjdk-devel
sudo yum install java-1.7.0-openjdk-devel.x86_64
/usr/sbin/alternatives --config java
/usr/sbin/alternatives --config javac
sudo vim /etc/profile
# add the following lines at the end
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.19.x86_64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# save and exit vim
# make the bash profile take effect immediately
$ source /etc/profile
# test
$ java -version
复制代码

参考，linux(ubuntu)安装Java jdk环境变量设置及小程序测试

2. 安装 Scala 2.9.3

Spark 0.7.2 依赖 Scala 2.9.3, 我们必须要安装Scala 2.9.3.

下载链接：http://pan.baidu.com/s/1qWkBvhq 密码：z19x

并 保存到home目录.

$ tar -zxf scala-2.9.3.tgz
$ sudo mv scala-2.9.3 /usr/lib
$ sudo vim /etc/profile
# add the following lines at the end
export SCALA_HOME=/usr/lib/scala-2.9.3
export PATH=$PATH:$SCALA_HOME/bin
# save and exit vim
#make the bash profile take effect immediately
source /etc/profile
# test
$ scala -version
复制代码

3. 下载预编译好的Spark

下载预编译好的Spark, （32位、64都可以）

hadoop1安装包

链接：http://pan.baidu.com/s/1c0kZMLE

密码：d4om

hadoop2安装包

链接：http://pan.baidu.com/s/1kT3czFD

密码：elpg

如果你想从零开始编译，则下载源码包，但是我不建议你这么做，因为有一个Maven仓库，twitter4j.org, 被墙了，导致编译时需要翻墙，非常麻烦。如果你有DIY精神，并能顺利翻墙，则可以试试这种方式。

4. 本地模式
4.1 解压
$ tar -zxf spark-0.7.2-prebuilt-hadoop1.tgz
4.2 设置SPARK_EXAMPLES_JAR 环境变量

$ vim ~/.bash_profile
# add the following lines at the end
export SPARK_EXAMPLES_JAR=$HOME/spark-0.7.2/examples/target/scala-2.9.3/spark-examples_2.9.3-0.7.2.jar
# save and exit vim
#make the bash profile take effect immediately
$ source /etc/profile
复制代码

这一步其实最关键，很不幸的是，官方文档和网上的博客，都没有提及这一点。我是偶然看到了这两篇帖子，Running SparkPi, Null pointer exception when running ./run spark.examples.SparkPi local，才补上了这一步，之前死活都无法运行SparkPi。

4.3 （可选）设置 SPARK_HOME环境变量，并将SPARK_HOME/bin加入PATH

$ vim ~/.bash_profile
# add the following lines at the end
export SPARK_HOME=$HOME/spark-0.7.2
export PATH=$PATH:$SPARK_HOME/bin
# save and exit vim
#make the bash profile take effect immediately
$ source /etc/profile
复制代码

4.4 现在可以运行SparkPi了

$ cd ~/spark-0.7.2
$ ./run spark.examples.SparkPi local 
复制代码

5. 集群模式

5.1 安装Hadoop

用VMware Workstation 创建三台CentOS 虚拟机，hostname分别设置为 master, slave01, slave02，设置SSH无密码登陆，安装hadoop，然后启动hadoop集群。参考：hadoop2.2完全分布式最新高可靠安装文档

5.2 Scala

在三台机器上都要安装 Scala 2.9.3 , 按照第2节的步骤。JDK在安装Hadoop时已经安装了。

5.3 在master上安装并配置Spark

解压

$ tar -zxf spark-0.7.2-prebuilt-hadoop1.tgz
复制代码

设置SPARK_EXAMPLES_JAR 环境变量

$ vim ~/.bash_profile
# add the following lines at the end
export SPARK_EXAMPLES_JAR=$HOME/spark-0.7.2/examples/target/scala-2.9.3/spark-examples_2.9.3-0.7.2.jar
# save and exit vim
#make the bash profile take effect immediately
$ source /etc/profile
复制代码

在 in  conf/spark-env.sh中设置SCALA_HOME

$ cd ~/spark-0.7.2/conf
$ mv spark-env.sh.template spark-env.sh
$ vim spark-env.sh
# add the following line
export SCALA_HOME=/usr/lib/scala-2.9.3
# save and exit
复制代码

在conf/slaves, 添加Spark worker的hostname, 一行一个。

$ vim slaves
slave01
slave02
# save and exit
复制代码

（可选）设置 SPARK_HOME环境变量，并将SPARK_HOME/bin加入PATH

$ vim ~/.bash_profile
# add the following lines at the end
export SPARK_HOME=$HOME/spark-0.7.2
export PATH=$PATH:$SPARK_HOME/bin
# save and exit vim
#make the bash profile take effect immediately
$ source /etc/profile
复制代码

5.4 在所有worker上安装并配置Spark

既然master上的这个文件件已经配置好了，把它拷贝到所有的worker。注意，三台机器spark所在目录必须一致，因为master会登陆到worker上执行命令，master认为worker的spark路径与自己一样。

$ cd
$ scp -r spark-0.7.2 dev@slave01:~
$ scp -r spark-0.7.2 dev@slave02:~
复制代码

按照第5.3节设置SPARK_EXAMPLES_JAR环境变量，配置文件不用配置了，因为是直接从master复制过来的，已经配置好了。

5.5 启动 Spark 集群

在master上执行

$ cd ~/spark-0.7.2
$ bin/start-all.sh
复制代码

检测进程是否启动

$ jps
11055 Jps
2313 SecondaryNameNode
2409 JobTracker
2152 NameNode
4822 Master
复制代码

浏览master的web UI(默认http://localhost:8080). 这是你应该可以看到所有的word节点，以及他们的CPU个数和内存等信息。 ##5.6 运行SparkPi例子

$ cd ~/spark-0.7.2
$ ./run spark.examples.SparkPi spark://master:7077
复制代码

（可选）运行自带的例子，SparkLR 和 SparkKMeans.

#Logistic Regression
#./run spark.examples.SparkLR spark://master:7077
#kmeans
$ ./run spark.examples.SparkKMeans spark://master:7077 ./kmeans_data.txt 2 1
复制代码

5.7 从HDFS读取文件并运行WordCount

$ cd ~/spark-0.7.2
$ hadoop fs -put README.md .
$ MASTER=spark://master:7077 ./spark-shell
scala> val file = sc.textFile("hdfs://master:9000/user/dev/README.md")
scala> val count = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_+_)
scala> count.collect()
复制代码

5.8 停止 Spark 集群

$ cd ~/spark-0.7.2
$ bin/stop-all.sh
复制代码

学习了，博主谢谢

楼主，想请教下，我的spark程序调用了部分java代码，然后我把java所有相关的jar包都和scala代码打包在同一个jar包里，在spark上运行的时候提示找不到java类，该jar包里没有用到java类的scala程序可以正正常运行。
是不是打包的时候要注意些什么？
我是用这个命令启动的：
bin/spark-submit --class com.xbings.spark.MimsRuleAudit ~/upload/output/mimsspark.jar

謝謝樓主，學習中

你好，我安装了spark集群，但是很奇怪的一件事是，我在master的8080节点上看到了2个worker的信息，但是我在master 4040 端口上，每次执行完一次任务，在aggregated metrics by executor 的executor ID都是localhost而address 是cannot find address，请问你知道为什么吗？

赞赞赞

控制台上有输出examples.SparkPi的运行信息  但是为什么spark UI界面没有相关信息？

学习了

我是个初学者，学习中

学习了 谢谢楼主