分享

hive在spark上运行文件丢失的问题?

jcszhizun 发表于 2016-11-23 23:38:40 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 7354
最近写的脚本莫名奇妙的跑不起来了,提示报错
hive  orc reader could not read a complete row,maybe some file missing
脚本采用了update更新操作,语法上找不到任何错误,重新执行建表语句可以正常运行,hive是运行在spark上的,有人碰到这个类似的问题吗?
求大神指导啊!!

已有(4)人评论

跳转到指定楼层
qcbb001 发表于 2016-11-24 07:53:49
虽然hive支持更新了,但是最好不要更新操作。
第二贴出更新语句,尽量贴出客观内容,少一些主观观点。
可能楼主认为正确的,别人能发现些问题。为解决问题尽可能提供信息。
回复

使用道具 举报

arsenduan 发表于 2016-11-24 07:57:30
那就查看下是否丢失了文件。检测下集群的健康
回复

使用道具 举报

langke93 发表于 2016-11-24 08:01:29
本帖最后由 langke93 于 2016-11-24 08:10 编辑

hive orc reader could not read a complete row,maybe some file missing
上面是说 orc reader  不能读取完整的行。可能是文件丢失。
找到对应的位置,看看是否真的丢失,还是其它原因造成不能读取一个完整的行,比如权限等。


回复

使用道具 举报

jcszhizun 发表于 2016-11-24 23:16:56
谢谢各位的帮忙,应该不是权限问题,至查看文件是否丢失,没有这个权限,只是想弄清导致是什么原因
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条