Spring Yarn 例子及代码下载

问题导读

1.Spring Yarn 有哪些例子？
2.如何找到Spring Yarn例子说明？
3.如何导入项目到IDE？






注意：
这个例子当前的配置适用 Spring Hadoop 2.0.0.M4 release。可以通过maven配置获取spring hadoop.当前支持Hadoop 2.2.0-alpha

 gradlew -Pdistro=hadoop20 clean build -x test
复制代码

下面子项目适用 Spring Hadoop 2.0或则更高版本

Yarn 例子

• batch-amjob - 运行 Spring Batch job only 在 Application Master的例子
• batch-files -   运行 Spring Batch partitioned带有    HDFS文件进程的例子
• batch-partition -运行 Spring Batch partitioned job例子
• custom-amservice - 使用 Spring Integration 作为客户端运行 Application Master 服务
• kill-application - killing an applicatoin的例子
• list-applications -列出已知 resource manager的应用程序列表
• multi-context - 运行a spring application context在多个容器中的例子
• simple-command - 运行 a command with containers的例子
• restart-context -  custom failed container handling的例子
  

如何导入项目到IDE

每一个例子都可以导入Java IDE，可以使用eclipse或则SpringSource Tool Suite。在目录中可以下载这些项目

 gradlew eclipse
复制代码

如果你使用IDEA

gradlew idea
复制代码

运行例子

对于每一个例子，都有自己的README 文件。README 文件都有简短的说明，可以复制和粘帖commands


环境要求

例子依赖的库，并不是默认的hadoop classpath 。这些依赖在构建的过程中被搜集在一起。
例如：
构建 yarn-examples-simple-command项目

gradlew :yarn-examples-common:yarn-examples-simple-command:build -x test
复制代码

项目文件被搜集，在simple-command/build/libs 下和在simple-command/build/dependency-libs的依赖

每个例子都有自己的hdfs路径下的jar文件

[root@centos hadoop]# hadoop/bin/hdfs dfs -ls /lib
/lib/aopalliance-1.0.jar
/lib/jackson-annotations-2.1.4.jar
/lib/jackson-core-2.1.4.jar
/lib/jackson-databind-2.1.4.jar
/lib/spring-aop-3.1.3.RELEASE.jar
/lib/spring-asm-3.1.3.RELEASE.jar
/lib/spring-batch-core-2.1.9.RELEASE.jar
/lib/spring-batch-infrastructure-2.1.9.RELEASE.jar
/lib/spring-beans-3.1.3.RELEASE.jar
/lib/spring-context-3.1.3.RELEASE.jar
/lib/spring-context-support-3.1.3.RELEASE.jar
/lib/spring-core-3.1.3.RELEASE.jar
/lib/spring-data-hadoop-2.0.0.M4-hadoop22.jar
/lib/spring-data-hadoop-core-2.0.0.M4-hadoop22.jar
/lib/spring-expression-3.1.3.RELEASE.jar
/lib/spring-integration-core-2.2.3.RELEASE.jar
/lib/spring-integration-ip-2.2.3.RELEASE.jar
/lib/spring-integration-stream-2.2.3.RELEASE.jar
/lib/spring-jdbc-3.1.3.RELEASE.jar
/lib/spring-retry-1.0.2.RELEASE.jar
/lib/spring-tx-3.1.3.RELEASE.jar
/lib/spring-yarn-batch-2.0.0.M4-hadoop22.jar
/lib/spring-yarn-core-2.0.0.M4-hadoop22.jar
/lib/spring-yarn-integration-2.0.0.M4-hadoop22.jar
/lib/yarn-examples-common-2.0.0.BUILD-SNAPSHOT.jar

[root@centos hadoop]# hadoop/bin/hdfs dfs -ls /app/simple-command
/app/simple-command/yarn-examples-simple-command-2.0.0.BUILD-SNAPSHOT-tests.jar
/app/simple-command/yarn-examples-simple-command-2.0.0.BUILD-SNAPSHOT.jar
复制代码

JUnit 测试不依赖集群，但是需要配置hadoop环境。环境变量下面是必须存在的

export PATH=$PATH:/usr/local/javas/java/bin
export JAVA_HOME=/usr/local/javas/java
export JRE_HOME=/usr/local/javas/java/jre
export HADOOP_HOME=/usr/local/hadoops/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/conf
export YARN_CONF_DIR=$HADOOP_HOME/conf
复制代码

源码下载https://github.com/spring-projects/spring-hadoop-samples/blob/master/yarn/README.md

很好很强大