hive2.1.0编译报错

最近想测试下hive2.1版本，编译报了个错，一时没解决：编译命令：mvn clean install -Pdist -DskipTests -Dhadoop-23.version=2.7.3 -Dspark.version=2.0.2
可能是2.1版本不支持这么高的spark…………还望大神指教

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project spark-client: Compilation failure: Compilation failure:
[ERROR] /opt/modules/apache-hive-2.1.0-src/spark-client/src/main/java/org/apache/hive/spark/client/RemoteDriver.java:[46,24] cannot find symbol
[ERROR] symbol:   class JavaSparkListener
[ERROR] location: package org.apache.spark
[ERROR] /opt/modules/apache-hive-2.1.0-src/spark-client/src/main/java/org/apache/hive/spark/client/RemoteDriver.java:[444,40] cannot find symbol
[ERROR] symbol:   class JavaSparkListener
[ERROR] location: class org.apache.hive.spark.client.RemoteDriver
[ERROR] -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluen ... ojoFailureException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :spark-client

RemoteDriver这个在hive1.x就有了。应该不会。
这是关于他的相关文档
链接：http://pan.baidu.com/s/1miHcFS8 密码：jn8h

http://url.cn/41jTOaP

楼主看看maven是否适合，还有网络，配置等问题
https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-RemoteSparkDriver

至于兼不兼容，网上也没找到明确的资料。
当然你也可以打个补丁试试
https://issues.apache.org/jira/browse/HIVE-8528

对于下面应该是兼容的
Hadoop 2.7.2, Spark 2.0, Presto 0.150, Hive 2.1, Tez 0.8.4, Pig 0.16, HBase 1.2.2, Phoenix 4.7.0, Zeppelin 0.6.1 (Snapshot), Hue 3.10, Oozie 4.2.0, Sqoop 1.4.6, Ganglia 3.7.2, HCatalog 2.1.0, Mahout 0.12.2, and ZooKeeper 3.4.8.

来自：
https://aws.amazon.com/cn/blogs/ ... on-emr-release-5-0/

langke93 发表于 2016-11-21 18:22
RemoteDriver这个在hive1.x就有了。应该不会。
这是关于他的相关文档
链接：http://pan.baidu.com/s/1miH ...

多谢热心回答

已经解决了，预计在2.2版本RemoteDriver.java中不会有JavaSparkListener了

大神你是怎么解决的啊？我也碰到了一摸一样的错误。。我把spark版本降级也是不行。求帮助啊。。

15010415606 发表于 2017-1-17 14:15
大神你是怎么解决的啊？我也碰到了一摸一样的错误。。我把spark版本降级也是不行。求帮助啊。。

你也是2.1报的错吗

zhuqitian 发表于 2017-1-19 09:52
你也是2.1报的错吗

是的，我也是2.1报的错，跟你的错误一模一样的。。你是怎么解决的啊？

[quote][url=forum.php?mod=redirect&goto=findpost&pid=209919&ptid=20353]15010415606 鍙戣〃浜

15010415606 发表于 2017-1-19 13:48
是的，我也是2.1报的错，跟你的错误一模一样的。。你是怎么解决的啊？

指定spark1.6编译可避免，或者用更高版本的hive，打过patch的