java代码调用spark代码,local可以正常运行,集群运行jar包提示如下错误

查看数: 11679 | 评论数: 3 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2016-11-30 09:31

正文摘要:

local模式下用idea直接运行或者打成jar包都可以运行,但是用standalone cluster提交就会出现类不存在问题,如下截图,请大神指导,大神们用java间隔执行spark任务该怎么做,求指导!跪谢 补充内容 (2016-1 ...

回复

nextuser 发表于 2016-11-30 13:52:15
ltne 发表于 2016-11-30 10:01
是公司的一个阿里云的集群,只能打马赛克了,具体是什么配置问题呢,有什么建议吗,因为用集群模式跑spar ...

可能是楼主开发用的包,在集群上有问题。
因为看不到是缺哪个包,楼主可以搜一下。把相关包添加进去应该就可以了
ltne 发表于 2016-11-30 10:01:19
einhep 发表于 2016-11-30 09:51
为啥还打马赛克。
那就是可能是环境配置的问题。

是公司的一个阿里云的集群,只能打马赛克了,具体是什么配置问题呢,有什么建议吗,因为用集群模式跑spark本身自带的样例是通过的,应该配置也是没有问题的才对!另外如果把其他依赖的包都打成一个jar包,会出现签名问题,这个有什么建议吗?
einhep 发表于 2016-11-30 09:51:11
为啥还打马赛克。
那就是可能是环境配置的问题。
关闭

推荐上一条 /2 下一条