分享

sqoop同步oracle数据到hbase效率低

lihy114 发表于 2015-7-31 18:06:06 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 27681
使用sqoop同步oracle数据到hbase,没有做什么优化,执行下面的语句
./sqoop import --connect jdbc:oracle:thin:@192.168.3.236:1521:sx --username top --password top --m 1 --table tab_a --hbase-create-table --hbase-table tab_a_FROMORACLE --hbase-row-key ID --column-family IDINFO

70多万的数据,需要5分钟才能完成

设置并行度,语句如下
./sqoop import --connect jdbc:oracle:thin:@192.168.3.236:1521:sx --username top --password top --m 10 --table tab_a --hbase-create-table --hbase-table tab_a_FROMORACLE --hbase-row-key ID --column-family IDINFO
这样我观察了一下,另外9个map并没有起到作用,很快就执行完成了,等着另外一个map执行,时间上和原来差别 不大

应该如果优化同步的速度呢?多谢

已有(2)人评论

跳转到指定楼层
NEOGX 发表于 2015-7-31 18:12:20
楼主内存多大。线程多,内存不够也是一个现在因素。
回复

使用道具 举报

jsjupc_geyf 发表于 2015-7-31 22:02:40
好贴,必顶,加油加油!!!!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条