Apache Spark源码走读之10 -- 在YARN上运行SparkPi

本帖最后由 pig2 于 2015-1-6 14:13 编辑
问题导读
1、如何直接将spark在yarn上面运行？
2、结合yarn，需要修改Hadoop哪些配置文件？
3、什么是SparkPi？

本文接前几篇
Apache Spark源码走读之7 -- Standalone部署方式分析

Apache Spark源码走读之8 -- Spark on Yarn

Apache Spark源码走读之9 -- Spark源码编译

概要
“spark已经比较头痛了，还要将其运行在yarn上，yarn是什么，我一点概念都没有哎，再怎么办啊。不要跟我讲什么原理了，能不能直接告诉我怎么将spark在yarn上面跑起来，I'm a dummy, just told me how to do it.”

如果你和我一样是一个对形而上的东西不是太感兴趣，而只纠结于怎么去做的话，看这份guide保证不会让你失望, :)。

前期准备
本文所有的操作基于arch linux，保证下述软件已经安装

jdk
scala
maven

搭建hadoop
hadoop像它的Logo一样，真得是一个体形无比巨大的大象，如果直接入手去搞这个东东的话，肯定会昏上好长一段时间。个人取巧，从storm弄起，一路走来还算平滑。

hadoop最主要的是hdfs和MapReduce Framework，针对第二代的hadoop即hadoop 2这个Framework变成了非常流行的YARN, 要是没听说过YARN，都不好意思说自己玩过Hadoop了。

不开玩笑了，注意上面一段话中最主要的信息就是hdfs和mapreduce framework，我们接下来的所有配置都是围绕这两个主题来的。

创建用户
添加用户组: hadoop, 添加用户hduser

groupadd hadoop
useradd -b /home -m -g hadoop hduser
复制代码

下载hadoop运行版
假设当前是以root用户登录，现在要切换成用户hduser

su - hduser
id ##检验一下切换是否成功，如果一切ok,将显示下列内容
uid=1000(hduser) gid=1000(hadoop) groups=1000(hadoop)
复制代码

下载hadoop 2.4并解压

cd /home/hduser
wget http://mirror.esocc.com/apache/hadoop/common/hadoop-2.4.0/hadoop-2.4.0.tar.gz
tar zvxf hadoop-2.4.0.tar.gz
复制代码

设置环境变量

export HADOOP_HOME=$HOME/hadoop-2.4.0
export HADOOP_MAPRED_HOME=$HOME/hadoop-2.4.0
export HADOOP_COMMON_HOME=$HOME/hadoop-2.4.0
export HADOOP_HDFS_HOME=$HOME/hadoop-2.4.0
export HADOOP_YARN_HOME=$HOME/hadoop-2.4.0
export HADOOP_CONF_DIR=$HOME/hadoop-2.4.0/etc/hadoop
复制代码

为了避免每次都要重复设置这些变量，可以将上述语句加入到.bashrc文件中。

创建目录
接下来创建的目录是为hadoop中hdfs相关的namenode即datanode使用

mkdir -p $HOME/yarn_data/hdfs/namenode
mkdir -p $HOME/yarn_data/hdfs/datanode
复制代码

修改Hadoop配置文件
下列文件需要相应的配置

yarn-site.xml
core-site.xml
hdfs-site.xml
mapred-site.xml

切换到hadoop安装目录

$cd $HADOOP_HOME
复制代码

修改etc/hadoop/yarn-site.xml, 在<configuration>和</configuration>之间添加如下内容，其它文件添加位置与此一致

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
复制代码

etc/hadoop/core-site.xml

<property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value> <!--YarnClient会用到该配置项-->
</property>
复制代码

etc/hadoop/hdfs-site.xml

 <property>
   <name>dfs.replication</name>
   <value>1</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/home/hduser/yarn_data/hdfs/namenode</value> <!--节点格式化中被用到-->
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/home/hduser/yarn_data/hdfs/datanode</value>
 </property>
复制代码

etc/hadoop/mapred-site.xml

<property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
</property>
复制代码

格式化namenode

$ bin/hadoop namenode -format
复制代码

启动hdfs相关进程
启动namenode

$ sbin/hadoop-daemon.sh start namenode
复制代码

启动datanode

$sbin/hadoop-daemon.sh start datanode
复制代码

启动mapreduce framework相关进程
启动Resource Manager

sbin/yarn-daemon.sh start resourcemanager
复制代码

启动Node Manager

sbin/yarn-daemon.sh start nodemanager
复制代码

启动Job History Server

sbin/mr-jobhistory-daemon.sh start historyserver
复制代码

验证部署

$jps
18509 Jps
17107 NameNode
17170 DataNode
17252 ResourceManager
17309 NodeManager
17626 JobHistoryServer
复制代码

运行wordCount
验证一下hadoop搭建成功与否的最好办法就是在上面跑个wordcount试试

$mkdir in
$cat > in/file
This is one line
This is another line
复制代码

将文件复制到hdfs中

$bin/hdfs dfs -copyFromLocal in /in
复制代码

运行wordcount

bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar wordcount /in /out
复制代码

查看运行结果

bin/hdfs dfs -cat /out/*
复制代码

先歇一会，配置到这里，已经一头汗了，接下来将spark在yarn上的运行,再坚持一小会

在yarn上运行SparkPi
下载spark
下载spark for hadoop2的版本

运行SparkPi
继续以hduser身份运行，最主要的一点就是设置YARN_CONF_DIR或HADOOP_CONF_DIR环境变量

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_JAR=./assembly/target/scala-2.10/spark-assembly_2.10-0.9.1-hadoop2.2.0.jar \
./bin/spark-class org.apache.spark.deploy.yarn.Client \
--jar ./examples/target/scala-2.10/spark-examples_2.10-assembly-0.9.1.jar \
--class org.apache.spark.examples.JavaSparkPi \
--args yarn-standalone \
--num-workers 1 \
--master-memory 512m \
--worker-memory 512m \
--worker-cores 1
复制代码

检查运行结果
运行结果保存在相关application的stdout目录，使用以下指令可以找到

cd $HADOOP_HOME
find . -name "*stdout"
假设找到的文件为./logs/userlogs/application_1400479924971_0002/container_1400479924971_0002_01_000001/stdout，使用cat可以看到结果

cat ./logs/userlogs/application_1400479924971_0002/container_1400479924971_0002_01_000001/stdout
Pi is roughly 3.14028
复制代码

图文精华

Apache Spark源码走读之10 -- 在YARN上运行SparkPi

最佳新人

活跃会员

突出贡献

论坛元老

推荐 /2