spark生成HFile bulkload到hbase 延伸二

remarkzhao · 发表于 2018-3-14 16:09:58

nextuser 发表于 2018-3-14 14:02
那就是配置入手。比如内存等。使用yarn-client还是yarn-cluster。这里面也有区别

刚刚又打了一个jar put的形式的，一条一条插入，同一个工程下就没问题。可能配置也不会有问题吧？

langke93 · 发表于 2018-3-14 16:13:29

remarkzhao 发表于 2018-3-14 15:44
问题就不明白了。。。为什么配置不对会出现业务逻辑上的错误。

这个问题确实挺困扰的。
无论是配置还是环境。
多测试，发现其中的规律。比如是否每次local都是可以的。是否每次yarn都是错误的。其中不排除楼主操作问题。因为这个问题，本身就很奇怪。同一份

代码，在不同的方式出问题。说明代码没有问题
但是不同方式下，又出现代码的问题。
Added a key not lexically larger than previous.
这就说明代码其实是有问题的。
所以从推理角度来说，这二者本身是矛盾的。
所以要从多角度，多测试，结论不能随便下。也从自己操作角度，看看是否那里有失误。