About云-梭伦科技»专题 › 交流区 › 技术交流 › sqoop 数据转移问题 from mysql to hive

sqoop 数据转移问题 from mysql to hive

查看数: 8832 | 评论数: 3 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

帖子模式

youngwenhao

发布时间: 2017-5-17 15:54

正文摘要:

我在使用sqoop传输数据库是这么做的： 1, 用hive在集群上先创建一个新的database（数据传输目的地）:hivewattest02, 查阅sqoop的几个简单使用方法后，写了个脚本如下，但是执行速度很慢 #! /bin/sh source /etc/p ...

nextuser 发表于 2017-5-18 10:05:25

youngwenhao 发表于 2017-5-18 09:36
你好，谢谢你，我等下试试多加几个线程，另外发现在跑的时候集群master的内存消耗很大。但其他主机消耗很 ...

master角色比较多。可能安装的比较多。

jixianqiuxue 发表于 2017-5-17 19:45:08

多开几个线程试试sqoop import -connect jdbc:mysql://${CONNECTURL}:${PORTNUM}/${DBNAME} -username ${USERNAME} -password ${PASSWORD} -table ${line} -hive-import -m 10 -hive-table ${HIVEDB}.${line}

图文精华

sqoop 数据转移问题 from mysql to hive

正文摘要:

回复

推荐 /2