分享

如何用maven构建spark

langke93 发表于 2015-3-29 15:18:45 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 21831
如何用maven构建spark,求具体步骤
欢迎加入about云群425860289432264021 ,云计算爱好者群,关注about云腾讯认证空间

已有(1)人评论

跳转到指定楼层
arsenduan 发表于 2015-3-29 15:19:38
设置maven JVM参数:
  1. export MAVEN_OPTS="-Xmx2g-XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"  
复制代码




指定Hadoop,构建Spark工程。
  1. # ApacheHadoop 2.0.5-alpha  
  2. mvn -Pyarn-alpha-Dhadoop.version=2.0.5-alpha-DskipTests clean package  
  3.    
  4. #Cloudera CDH 4.2.0  
  5. mvn -Pyarn-alpha-Dhadoop.version=2.0.0-cdh4.2.0-DskipTests clean package  
  6.    
  7. #Apache Hadoop 0.23.x  
  8. mvn -Pyarn-alpha-Phadoop-0.23 -Dhadoop.version=0.23.7-DskipTests clean package  
  9.    
  10. #Apache Hadoop 2.2.X  
  11. mvn -Pyarn -Phadoop-2.2-Dhadoop.version=2.2.0-DskipTests clean package  
  12.    
  13. #Apache Hadoop 2.3.X  
  14. mvn -Pyarn -Phadoop-2.3-Dhadoop.version=2.3.0-DskipTests clean package  
  15.    
  16. #Apache Hadoop 2.4.X  
  17. mvn -Pyarn -Phadoop-2.4-Dhadoop.version=2.4.0-DskipTests clean package  
  18.    
  19. #Different versions of HDFS and YARN.  
  20. mvn -Pyarn-alpha-Phadoop-2.3 -Dhadoop.version=2.3.0-Dyarn.version=0.23.7-DskipTests clean package
复制代码


测试:
  1. mvn -Dhadoop.version=... -DwildcardSuites=org.apache.spark.repl.ReplSuitetests  
复制代码




回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条