分享

cdh 5.3的sqoop 1 只能提交本地job是咋了

karo_lee 发表于 2015-2-4 17:36:48 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 7 37902
今天用sqoop 1 client把oracle的数据导入到hbase,发现只能提交本地job,首先是报hdfs上没有相关的jar包(之前测试安装是没有这种情况的),把提示的jar包按照目录拷贝至hdfs,开始生成本地job,生成的job名称就是job_localxxxxxxx_000X。然后终端就不断抛INFO:mapred.LocalJobRunner:map>map
INFO:mapred.LocalJobRunner:map>map
INFO:mapred.LocalJobRunner:map>map
INFO:mapred.LocalJobRunner:map>map

上面的jar包又拷贝回运行sqoop的当前目录。
这很不对啊。
仔细看了日志,sqoop读取的hadoop配置文件位置为/etc/hadoop/conf貌似没有问题。
实在想不出是哪里不对,求大神指条明路。

已有(7)人评论

跳转到指定楼层
desehawk 发表于 2015-2-4 18:31:07
可能的原因有两个:
1.运行的本地模式,
2.hadoop2.x使用的MRv2,但是你仍然安装使用的是MRv1
详细参考
Job keeps running in LocalJobRunner under Cloudera




回复

使用道具 举报

karo_lee 发表于 2015-2-4 19:31:01
安装的是yarn (mr2 included),因为是parcels包安装的方式,因此应该不是mr1的问题。
您说的第一种情况,我不是很明白。因为没有加参数强制本地模式运行,前面测试安装时只有三台主机也是这么弄的。可以用sqoop导入数据。装了14台就出了这个问题。若是本地模式运行,怎么才能取消呢?
回复

使用道具 举报

karo_lee 发表于 2015-2-4 19:40:16
按照 Job keeps running in LocalJobRunner under Cloudera 这个帖子所说的情况,是用mr1的方式调用了mr2的job启动方式。按照这个思路,我这边的情况就是sqoop 1是按照mr1的方式启动了mr2的job,那就是sqoop的版本不对,sqoop应该对应mr1和mr2有不同的版本。cdh安装中并没有sqoop 1对应mr1还是mr2的选项,这个太头疼了。
回复

使用道具 举报

nextuser 发表于 2015-2-4 23:21:28
karo_lee 发表于 2015-2-4 19:40
按照 Job keeps running in LocalJobRunner under Cloudera 这个帖子所说的情况,是用mr1的方式调用了mr2的 ...
你的提交命令是什么?
如果你提交的是本地job,跑的就是local job

例如下面就是本地job
sqoop create-hive-table –connect jdbc:mysql://localhost:3306/test
–table sqoop_test –username root –password 123456 –hive-table
test


下面就是一个远程job
./sqoop import –connect
jdbc:mysql://10.28.168.109:3306/compression –username=hadoop
–password=123456 –table HADOOP_USER_INFO -m 1 –target-dir
/user/test

回复

使用道具 举报

karo_lee 发表于 2015-2-5 13:14:27
nextuser 发表于 2015-2-4 23:21
你的提交命令是什么?
如果你提交的是本地job,跑的就是local job

我用的是sqoop import --connect jdbc:oralce:thin:@192.168.1.10:1521:orcl --username orcl -P --table t_cglkxx --hbase-table t_cglkxx --columnfamily info
我觉得数据库在不在本地没有影响。
回复

使用道具 举报

karo_lee 发表于 2015-2-5 16:25:30
重装解决,太水了我
回复

使用道具 举报

ake9527 发表于 2017-4-28 08:49:16
本地job,远程job
应该指的是job定义保存在本地元数据仓库,还是远程元数据仓库中吧
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条