分享

CDH5.4.3中sqoop命令的日志保存在哪

lanthro 发表于 2017-4-3 18:14:23 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 9 42745
      写了个批处理脚本,用sqoop命令从oracle中导一堆表到hive。在执行脚本时,发现有个别表的导入出现错误。由于终端一直刷新没法查看错误,想找日志看错误细节时却没找到日志位置。有了解的朋友请帮忙指点,谢谢啦!     我是在CDH5.4.3中安装的sqoop2,看CDH里配置了sqoop2 server的日志目录,位置在/var/log/sqoop2下,但该目录下的日志文件里没有记录与sqoop命令相关的信息。系统是红帽,用的root用户。

已有(9)人评论

跳转到指定楼层
easthome001 发表于 2017-4-3 18:29:19
如何发现的,是哪里发现的。一般来说可能字段数据类型兼容问题
回复

使用道具 举报

lanthro 发表于 2017-4-3 18:48:29
easthome001 发表于 2017-4-3 18:29
如何发现的,是哪里发现的。一般来说可能字段数据类型兼容问题

执行sqoop命令的shell脚本在终端运行,错误在终端有打印,显示的是错误发生时调用堆栈。执行的命令太多,很快就被刷屏了,没来得及看。我觉得奇怪的是,CDH其它服务一般都能找到日志,sqoop却没找到,或者说sqoop server的日志不记录命令执行错误
回复

使用道具 举报

arsenduan 发表于 2017-4-4 07:58:37
lanthro 发表于 2017-4-3 18:48
执行sqoop命令的shell脚本在终端运行,错误在终端有打印,显示的是错误发生时调用堆栈。执行的命令太多, ...

有两个办法:
1.通过个人技术,可以闪截图
2.通过原理,sqoop其实跑的mapreduce,错误日志,可能在hadoop里面能看到
回复

使用道具 举报

lanthro 发表于 2017-4-4 12:25:14
arsenduan 发表于 2017-4-4 07:58
有两个办法:
1.通过个人技术,可以闪截图
2.通过原理,sqoop其实跑的mapreduce,错误日志,可能在hado ...

嗯 多谢
目前看要么按第一种方法,要么就只能等批处理脚本执行完后,检查哪些表没导成功再单独导一次试试了
第二种方法可能有些问题会漏掉,因为有些错可能发生在生成mapreduce任务前

另外再请教个问题,如果我通过多个远程终端,同时执行sqoop命令会有同步问题吗?
回复

使用道具 举报

NEOGX 发表于 2017-4-4 13:47:03
lanthro 发表于 2017-4-4 12:25
嗯 多谢
目前看要么按第一种方法,要么就只能等批处理脚本执行完后,检查哪些表没导成功再单独导一次试 ...

如果命令相同,做的事情是一样的,应该会有问题,导致数据冲突,重复等
回复

使用道具 举报

ake9527 发表于 2017-4-28 09:40:57
多个sqoop中指定不同的sql,将数据分段处理应该不会有问题。
partion column
另外,感觉/var/log/sqoop2底下东西挺多的啊
回复

使用道具 举报

lanthro 发表于 2017-4-28 10:46:48
NEOGX 发表于 2017-4-4 13:47
如果命令相同,做的事情是一样的,应该会有问题,导致数据冲突,重复等

多谢(居然还有字数限制。。。)
回复

使用道具 举报

lanthro 发表于 2017-4-28 10:48:17
ake9527 发表于 2017-4-28 09:40
多个sqoop中指定不同的sql,将数据分段处理应该不会有问题。
partion column
另外,感觉/var/log/sqoop2 ...

/var/log/sqoop2目录下的文件我都看了,没有sqoop指令输出的日志
基本是sqoop服务自身的日志
回复

使用道具 举报

ake9527 发表于 2017-5-4 15:22:26
lanthro 发表于 2017-4-28 10:48
/var/log/sqoop2目录下的文件我都看了,没有sqoop指令输出的日志
基本是sqoop服务自身的日志

那看来,只有console上面显示的了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条