hive与hbase整合的问题

hive0.14，hbase0.98，通过STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'的方式关联，在生产环境的集群中，hbase增删改数据以及hive查询数据都没问题，但是通过hive的insert into table...select...方式往表里加载数据却总是报错（我本机的虚拟机中没问题）。错误信息如下：

Log Type: syslog

Log Upload Time: Wed Jan 27 16:16:50 +0800 2016

Log Length: 769

2016-01-27 16:17:00,079 FATAL [main] app.DAGAppMaster: Error starting DAGAppMasterjava.lang.IllegalArgumentException: Invalid ContainerId: container_e72_1453800922347_0152_01_000001        at org.apache.hadoop.yarn.util.ConverterUtils.toContainerId(ConverterUtils.java:182)        at org.apache.tez.dag.app.DAGAppMaster.main(DAGAppMaster.java:1817)Caused by: java.lang.NumberFormatException: For input string: "e72"        at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)        at java.lang.Long.parseLong(Long.java:441)        at java.lang.Long.parseLong(Long.java:483)        at org.apache.hadoop.yarn.util.ConverterUtils.toApplicationAttemptId(ConverterUtils.java:137)        at org.apache.hadoop.yarn.util.ConverterUtils.toContainerId(ConverterUtils.java:177)        ... 1 more
另外，我本地虚拟机的hadoop、hive、hbase是社区版的，生产环境是HDP版的，但是版本号是一样的，请高手指点。

可能是输入格式的问题，建议先使用最简单的字符串测试

wscl1213 发表于 2016-1-27 20:20
可能是输入格式的问题，建议先使用最简单的字符串测试

肯定不是格式问题了，我都是用最简单的两个string字段测试的，并且我在我本地的虚拟机上用同样数据也试过了没问题。

根据异常提示是AMContainer的containerid：container_e72_1453800922347_0152_01_000001根据下划线分割后'e72'转换成Long时抛的异常，所以我觉得要么是containerid的生成出现了问题要是转换代码有bug，进而我怀疑要么是我配置出了问题，要么是HDP版本的代码和社区版的差异导致的问题，还请高手协助，困扰两天了。

没人回答啊，呼唤大神

请问你有hive整合hbase的笔记吗

UFO 发表于 2016-3-16 10:16
请问你有hive整合hbase的笔记吗

参照官网https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration就行了，没什么特殊配置，注意版本匹配。

楼主，你后面这个问题解决了吗?因为我们到时候生产环境也是想用insert into ...select ...from 这种方式，直接在hive里面分析hbase的数据入库到hive