用sqoop从mysql导入hbase问题

导入数据过程没问题，当增量导入数据时，存在更新数据的情况，如mysql某列变成null，此时无法导入hbase中，hbase中此列没有被更新，数据依然是历史数据，请问如何能解决这个问题？

用的是sqoop1.4.5  hbase0.98   
发现bug https://issues.apache.org/jira/browse/SQOOP-3149
无法将null数据添加到hbase中
1.4.7修复了，可是又需要hbase1.x版本，太他妈的蛋疼了


补充内容 (2018-7-31 10:07):
用 sqoop 3149 修正版本，更改了hbase0.98的支持，包含4个原文件，有特殊需求的小伙伴可再次优化，
核心思路，数据为空后删除词条数据列，可能对于第一次导入大量空列造成性能上的损耗，不过貌似没什么好办法

补充内容 (2018-7-31 10:08):
文件下载地址
http://pan.baidu.com/s/1_O86mIjlcffMzGvvmJeC5Q

补充内容 (2018-7-31 18:00):
大量测试发现这个版本效率比以前低了很多，优化版本，合并操作 避免多次操作put  和  delete
https://pan.baidu.com/s/1nNkHIH9JqmxbxiUhzMaU1Q

补充内容 (2018-8-2 09:46):
5楼 有性能测试对比


补充内容 (2018-8-23 15:39):
终极版本：https://pan.baidu.com/s/1UICzROSPK2aQppa1UVVp0A
考虑首次导入可能造成严重的性能问题，增加可控制参数，默认true：hbase对null数据进行delete，参数详见文档read.txt

试试加上下面内容
--null-string '\\N'

--null-non-string '\\N'

bioger_hit 发表于 2018-7-30 15:36
试试加上下面内容
--null-string '\\N'

试验过了，null列数据还是没有更新，还是老的时间戳数据

可以用Spark自己写个工具读取mysql数据，在插入到HBase中，应该不难！

由于测试机器时虚拟机，耗时存在一定误差，但基本能体现出来性能的差异

结论：
1、null列进行删除处理对性能损耗最为严重
2、对put操作进行合并，性能可以得到小程度提升
3、对del操作进行合并，性能提升最明显！

至此，翻越过其他版本代码，包括对del动作的控制，是否进行忽略处理等功能，因代码复杂程度较低，小伙伴们可以根据自身需求完成功能扩展。

evababy 发表于 2018-8-2 09:43
由于测试机器时虚拟机，耗时存在一定误差，但基本能体现出来性能的差异

结论：

赞，老铁。