分享

利用sqoop从hive里往mysql插入数据出现问题

luo3601721 2014-10-17 09:43:43 发表于 疑问解答 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 18166
这几天测试sqoop时,用sqoop从hive里往mysql插入数据,如果hive表里有50条数据时会成功,如果Hive表里有100条数据时,会卡住
这是日志
2014-10-17 09:04:40,452 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Received completed container container_1413451556978_0696_01_000004
2014-10-17 09:04:40,452 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: Diagnostics report from attempt_1413451556978_0696_m_000003_0: Container killed by the ApplicationMaster.
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

不知道是不是有什么大小设置,是在sqoop里还是hadoop里呢

已有(4)人评论

跳转到指定楼层
bioger_hit 发表于 2014-10-17 10:15:08
从你提供的信息不足,看不出哪里错误。
如果100条卡住,可能是那里的数据产生错误。
可以先尝试重复的200条(这一条必须可以插入),然后在尝试,看看会是什么效果
回复

使用道具 举报

luo3601721 发表于 2014-10-19 22:47:19
mapreduce的日志就只有这些了,sqoop运行时没保存,卡在100%不动了,设置了-m之后100条会插入99条,不设置的话只能插入80条左右,如果表里有99条数据只会插入98条,如果表里只有50条数据就完全没问题。
考虑是不是hadoop那边配置问题呢,目前只能用hive -e查询后重定向到文件里,然后导入mysql
回复

使用道具 举报

wubaozhou 发表于 2015-1-1 20:14:07
回复

使用道具 举报

chenfenggang 发表于 2016-5-31 20:13:13
过来那分的。 哎真难。好吧,还有时间限制,真难,时间够了没
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条