分享

通过mapreduce将数据从HBASE导入到Elasticsearch问题求助,谢谢

一,版本信息
Hadoop版本:2.7.3   HBASE:1.2.5    elasticsearch:5.2.2
二,异常信息
    0014
34 2017-05-18 10:21:48,905 INFO [main] org.apache.zookeeper.ZooKeeper: Session: 0x15c18ef094c0014 closed
35 2017-05-18 10:21:48,905 INFO [main-EventThread] org.apache.zookeeper.ClientCnxn: EventThread shut down
36 2017-05-18 10:21:48,995 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoSuchMethodError: io.netty.buffer.CompositeByte
    Buf.addComponents(ZLjava/lang/Iterable;)Lio/netty/buffer/CompositeByteBuf;                                                                              
37     at org.elasticsearch.transport.netty4.Netty4Utils.toByteBuf(Netty4Utils.java:78)
38     at org.elasticsearch.transport.netty4.Netty4Transport.sendMessage(Netty4Transport.java:422)
39     at org.elasticsearch.transport.netty4.Netty4Transport.sendMessage(Netty4Transport.java:93)
40     at org.elasticsearch.transport.TcpTransport.internalSendMessage(TcpTransport.java:1058)
41     at org.elasticsearch.transport.TcpTransport.sendRequestToChannel(TcpTransport.java:1040)
42     at org.elasticsearch.transport.TcpTransport.executeHandshake(TcpTransport.java:1555)
43     at org.elasticsearch.transport.TcpTransport.openConnection(TcpTransport.java:502)
44     at org.elasticsearch.transport.TcpTransport.connectToNode(TcpTransport.java:460)
45     at org.elasticsearch.transport.TransportService.connectToNode(TransportService.java:318)
46     at org.elasticsearch.client.transport.TransportClientNodesService$SimpleNodeSampler.doSample(TransportClientNodesService.java:408)
47     at org.elasticsearch.client.transport.TransportClientNodesService$NodeSampler.sample(TransportClientNodesService.java:354)
48     at org.elasticsearch.client.transport.TransportClientNodesService.addTransportAddresses(TransportClientNodesService.java:195)
49     at org.elasticsearch.client.transport.TransportClient.addTransportAddress(TransportClient.java:312)
50     at org.jinher.search.DistributedSearchFullIndexer.ElasticsearchClient.getEsClient(ElasticsearchClient.java:21)
51     at org.jinher.search.DistributedSearchFullIndexer.Indexer$HBaseMapper.setup(Indexer.java:43)
52     at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:143)
53     at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
54     at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
55     at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
56     at java.security.AccessController.doPrivileged(Native Method)
57     at javax.security.auth.Subject.doAs(Subject.java:422)
58     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
59     at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
60
61 2017-05-18 10:21:49,098 INFO [main] org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping MapTask metrics system...
62 2017-05-18 10:21:49,099 INFO [main] org.apache.hadoop.metrics2.impl.MetricsSystemImpl: MapTask metrics system stopped.
63 2017-05-18 10:21:49,099 INFO [main] org.apache.hadoop.metrics2.impl.MetricsSystemImpl: MapTask metrics system shutdown complete.
~      

整过的朋友帮忙看看,谢谢                                                                                                                                   

补充内容 (2017-5-19 15:56):
补充一下:
    在本模式运行没有问题,提交集群模式运行的时候才出现,现在只能肯定是netty包有冲突,但是用了几招都不行,比如:exclude掉所有依赖的netty包,然后取一个依赖中包的最高版本  

已有(3)人评论

跳转到指定楼层
abc50319 发表于 2017-5-18 17:33:29
虽然不会 但是还是给支持
回复

使用道具 举报

xiaobaiyang 发表于 2017-5-19 09:16:34
java.lang.NoSuchMethodError: io.netty.buffer.CompositeByte
从错误信息来看,是没有找到这个方法,不是没有加载这个方法对应的jar包,要么就是版本冲突了

回复

使用道具 举报

supertianxiang 发表于 2017-5-19 10:27:04
xiaobaiyang 发表于 2017-5-19 09:16
java.lang.NoSuchMethodError: io.netty.buffer.CompositeByte
从错误信息来看,是没有找到这个方法,不是 ...

我看过jar包,里面有依赖的包也有对应的方法,本地模式运行的时候是没有问题的,提交到集群环境就这样了,
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条