分享

使用sqoop把hive数据导出到mysql如何覆盖之前数据

zhuqitian 发表于 2017-6-7 18:08:37 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 9 25912
现在项目组用hive做数据处理,然后把数据导出到mysql中出报表用的,我每天需要全量跑数然后全量覆盖到mysql表中
现有的想法是同步hive数据到mysql前先把mysql表中数据清掉,大家谁知道有没有什么参数可以指定同步前覆盖mysql数据的
谢谢!

已有(9)人评论

跳转到指定楼层
jixianqiuxue 发表于 2017-6-7 19:31:37
sqoop有增量追加
回复

使用道具 举报

zhuqitian 发表于 2017-6-7 19:44:37

增量追加是ok的,就是全量覆盖的不好搞,暂时是想先删除再同步的,这样是ok的
回复

使用道具 举报

nextuser 发表于 2017-6-7 19:50:39
zhuqitian 发表于 2017-6-7 19:44
增量追加是ok的,就是全量覆盖的不好搞,暂时是想先删除再同步的,这样是ok的

全量导入可以尝试 overwrite
下面可参考,希望有所帮助
示例:
–全量导入
sqoop import –connect jdbc:oracle:thin:@10.51.103.29:1521:DW –username FMIS9999 –password=FMIS9999 –table T_EMP –num-mappers 10 –hive-import –hive-database GRC_BIGDATA –hive-table src_t_emp –hive-overwrite

回复

使用道具 举报

zhuqitian 发表于 2017-6-8 13:44:15
nextuser 发表于 2017-6-7 19:50
全量导入可以尝试 overwrite
下面可参考,希望有所帮助
示例:

thanks
回复

使用道具 举报

armand 发表于 2017-6-14 10:46:10
nextuser 发表于 2017-6-7 19:50
全量导入可以尝试 overwrite
下面可参考,希望有所帮助
示例:

这个是从mysql导入到hive中覆盖数据啊,怎么从hive导入到mysql,覆盖mysql中的数据啊
回复

使用道具 举报

zhuqitian 发表于 2017-6-14 11:32:11
armand 发表于 2017-6-14 10:46
这个是从mysql导入到hive中覆盖数据啊,怎么从hive导入到mysql,覆盖mysql中的数据啊

这个问题我已经搞定了,我新发表的帖子里有答案,就是同步前清掉mysql表数据
回复

使用道具 举报

armand 发表于 2017-6-14 13:57:59
zhuqitian 发表于 2017-6-14 11:32
这个问题我已经搞定了,我新发表的帖子里有答案,就是同步前清掉mysql表数据

我找了,但是没找到,能否指引一下方向
回复

使用道具 举报

zhuqitian 发表于 2017-6-14 14:39:38
armand 发表于 2017-6-14 13:57
我找了,但是没找到,能否指引一下方向

我很樂於分享的:http://www.aboutyun.com/forum.ph ... id=21958&extra=
回复

使用道具 举报

armand 发表于 2017-6-14 14:44:46
zhuqitian 发表于 2017-6-14 14:39
我很樂於分享的:http://www.aboutyun.com/forum.php?mod=viewthread&tid=21958&extra=

谢谢楼主
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条