分享

sqoop 导入hbase时NULL 转换

舒克、开飞机 发表于 2017-6-17 18:35:40 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 10 10930
sqoop 导入hbase 原来一个字段对应的是有值的,但是执行增量导入以后,原先的字段变成null值,导入hbase,改字段值并不会变成null,指定--null-string '\\N' --null-non-string '\\N' 貌似不起作用,有哪个大神可以指导一下吗

已有(10)人评论

跳转到指定楼层
einhep 发表于 2017-6-17 18:59:52
sqoop语句有问题吧,是不是都覆盖了。没有数据的地方为null
回复

使用道具 举报

舒克、开飞机 发表于 2017-6-18 16:12:32
einhep 发表于 2017-6-17 18:59
sqoop语句有问题吧,是不是都覆盖了。没有数据的地方为null

没有问题的 并没有被覆盖
回复

使用道具 举报

qcbb001 发表于 2017-6-18 16:21:42
舒克、开飞机 发表于 2017-6-18 16:12
没有问题的 并没有被覆盖

贴出语句看下。这样才有依据
回复

使用道具 举报

舒克、开飞机 发表于 2017-6-19 10:32:05
qcbb001 发表于 2017-6-18 16:21
贴出语句看下。这样才有依据

我看了下源码 源码就没有说怎么进行空值的处理 我现在想通过 sqoop 结合 --query ,--incremental 来进行增量导入
sqoop job --create c_p -- import --connect jdbc:oracle:thin:@172.18.10.7:1521:ORCL --username hudao --password hudao --query "select id,MODIFIEDDATE from NEANDS3.C_VIP where
and MODIFIEDDATE \$CONDITIONS" --hbase-table C_PROVINCE --hbase-row-key ID --column-family info --incremental lastmodified --check-column MODIFIEDDATE --last-value "2017-06-05 10:39:59.0" --split-by ID -m 5

报空指针异常
回复

使用道具 举报

舒克、开飞机 发表于 2017-6-19 10:33:01
我现在想通过 sqoop 结合 --query ,--incremental 来进行增量导入
sqoop job --create c_p -- import --connect jdbc:oracle:thin:@172.18.10.7:1521:ORCL --username hudao --password hudao --query "select id,MODIFIEDDATE from NEANDS3.C_VIP where
and MODIFIEDDATE \$CONDITIONS" --hbase-table C_PROVINCE --hbase-row-key ID --column-family info --incremental lastmodified --check-column MODIFIEDDATE --last-value "2017-06-05 10:39:59.0" --split-by ID -m 5

报空指针异常
回复

使用道具 举报

zj220223 发表于 2017-6-19 14:10:07
我放弃了sqoop 用datax
回复

使用道具 举报

舒克、开飞机 发表于 2017-6-19 14:14:00
zj220223 发表于 2017-6-19 14:10
我放弃了sqoop 用datax

datax能解决update这个问题吗

回复

使用道具 举报

zj220223 发表于 2017-6-19 14:31:07
舒克、开飞机 发表于 2017-6-19 14:14
datax能解决update这个问题吗

你指的是增量导入还是每天全表更新?2个都可以~
回复

使用道具 举报

舒克、开飞机 发表于 2017-6-19 14:38:25
zj220223 发表于 2017-6-19 14:31
你指的是增量导入还是每天全表更新?2个都可以~

我之前是通过sqoop的--incremental lastmodified --check-column MODIFIEDDATE来做的增量 不知道DATAX有没有这种用法
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条