分享

sqoop执行导入导出不执行mapreduce

sqoop1.4.5安装之后,可以连接查看数据库和表。执行导入导出操作(命令语法无问题)没有任何执行信息和日志。并且执行
sqoop job --list 显示当前无运行job。也没有任何mapreduce的执行日志信息。
U7%2MEQFT(V_9)`MAMR71~K.png

已有(19)人评论

跳转到指定楼层
不期而遇 发表于 2016-10-17 18:14:58
求助大神有没有知道如何解决的,环境是hadoop2.6.0,sqoop是qoop1.4.6不管是源生版本的还是cdh版本的都是这样不知道为啥,配置信息如何:这是sqoop-env.sh的配置信息
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/local/hadoop-2.6.0

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.6.0

#set the path to where bin/hbase is available
export HBASE_HOME=/opt/hbase-0.98.8

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/hive-0.14.0

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/opt/zookeeper
回复

使用道具 举报

langke93 发表于 2016-10-17 19:04:42
Warning: /opt/sqoop-1.4.5/bin/../../hbase does not exist! HBase imports will fail.
Please set $HBASE_HOME to the root of your HBase installation.
Warning: /opt/sqoop-1.4.5/bin/../../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /opt/sqoop-1.4.5/bin/../../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
Warning: /opt/sqoop-1.4.5/bin/../../zookeeper does not exist! Accumulo imports will fail.
Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.
更多
https://documentation.altiscale.com/installing-sqoop-1

sqoop出现上面问题,是可以忽略的。
至于为什么会运行信息,楼主需要查看下运行日志



回复

使用道具 举报

langke93 发表于 2016-10-17 19:05:34
猜测比如你的jdbc版本与mysql版本是否匹配等
回复

使用道具 举报

arsenduan 发表于 2016-10-17 19:17:04
在 .bashrc也可以尝试设置试试HCAT_HOME

[mw_shl_code=bash,true]cd ~
gedit .bashrc
   export HCAT_HOME=${HIVE_HOME}/hcatalog/
   export PATH=$HCAT_HOME/bin:$PATH

source .bashrc //to refresh the .bashrc file[/mw_shl_code]

回复

使用道具 举报

einhep 发表于 2016-10-17 19:30:54
本帖最后由 einhep 于 2016-10-17 19:33 编辑

sqoop import --connect jdbc:..../sqoop --user root --password 123456 --table ippv -m1

楼主尝试执行上面命令,看看什么结果

顺便确认下ippv 是mysql的表吗?
最好有截图
回复

使用道具 举报

qcbb001 发表于 2016-10-17 19:35:18
被导入的路径,是不是有问题
回复

使用道具 举报

不期而遇 发表于 2016-10-17 20:18:13
qcbb001 发表于 2016-10-17 19:35
被导入的路径,是不是有问题

路径应该没什么问题  比如/out7/part-r-00000这个是hdfs上的目录路径,如果你觉得有问题那该如何改呢
回复

使用道具 举报

不期而遇 发表于 2016-10-18 09:33:26
einhep 发表于 2016-10-17 19:30
sqoop import --connect jdbc:..../sqoop --user root --password 123456 --table ippv -m1

楼主尝试执 ...

这个表在mysql是有的  
[root@hadoop1 src]# sqoop import --connect jdbc:mysql://hadoop2:3306/IPPV --username 'root' --password '123456' --table ippv -m 1
Warning: /opt/sqoop-1.4.6/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /opt/sqoop-1.4.6/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
[root@hadoop1 src]#

这是执行的命令和结果
回复

使用道具 举报

不期而遇 发表于 2016-10-18 09:41:09
langke93 发表于 2016-10-17 19:04
Warning: /opt/sqoop-1.4.5/bin/../../hbase does not exist! HBase imports will fail.
Please set $HBAS ...

问题是无法执行导入导出操作,不抛错的先忽略
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条