importtsv 导数遇到的问题

本帖最后由 XUELANG 于 2016-10-25 16:09 编辑

我在通过importtsv将文件从hdfs导入到hbase中时，反复报下面错误：
2016-10-25 15:47:43,724 INFO  [main] ipc.Client: Retrying connect to server: localhost/127.0.0.1:18032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2016-10-25 15:47:44,725 INFO  [main] ipc.Client: Retrying connect to server: localhost/127.0.0.1:18032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2016-10-25 15:47:45,727 INFO  [main] ipc.Client: Retrying connect to server: localhost/127.0.0.1:18032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2016-10-25 15:47:46,730 INFO  [main] ipc.Client: Retrying connect to server: localhost/127.0.0.1:18032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

我反复的检查我的配置文件：
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.72.131:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.72.131:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.72.131:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.72.131:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.72.131:8088</value>
</property>
</configuration>
配置没有发现什么不对的地方，通过web页面查看hadoop的配置，信息也是正确的，见图：

hadoop运行配置

然后检查hbase数据库配置信息

为什么会不一样呢，很奇怪！这个问题困扰我好长时间了，感觉hbase用到的是yarn的默认配置文件，这个问题怎么解决？哪位大神给指点一下。

arsenduan · 发表于 2016-10-25 16:51:19

应该是连接上不上，比如防火墙等，还有原因就是集群可能没有启动

XUELANG · 发表于 2016-10-25 17:05:06

集群是启动的，状态也是正常的。

arsenduan · 发表于 2016-10-25 17:30:19

XUELANG 发表于 2016-10-25 17:05
集群是启动的，状态也是正常的。

hosts所有的都是如何配置的
为何配置的hadoop1，但是连接是localhost

desehawk · 发表于 2016-10-25 17:53:38

本帖最后由 desehawk 于 2016-10-25 17:56 编辑

XUELANG 发表于 2016-10-25 17:05
集群是启动的，状态也是正常的。

最好上图，这样更清楚楼主的环境，一些主观性的看法，不能解决问题的。
这是在哪台机器，使用了什么命令。

nextuser · 发表于 2016-10-25 18:48:02

原因太多了，网络，配置文件，还有格式化失败等等
format失败的原因可能是用户对/tmp/hadoop的目录的权限不够，可以执行

[mw_shl_code=bash,true]sudo chown -R user /tmp/hadoop[/mw_shl_code]

楼主需一一排查下

qcbb001 · 发表于 2016-10-25 18:50:54

配置HA了吗？

XUELANG · 发表于 2016-10-26 09:50:10

感谢各位的指点，hadoop的dfs和resourcemanager 本身没有问题，可以运行自带的wordcount例子；另外hbase本身可以进行表的创建等操作；我的整个基本架构是这样的，三个虚拟机，第一个作为namenode和resourcemanager以及hbase的hmaster，另外2个作为datanode、nodemanager和HRegionServer，zookeeper部署在节点1上；遇到的问题是，我在用importtsv将文件导入到hbase时，报以上错误，我配置的resourcemanager.address的地址端口是192.168.72.131：8032，并且8032端口也是监听状态，但是hbase运行时配置中的resourcemanager.address的地址端口是localhost:18032,见上图，感觉hbase调用的是yarn的默认配置。现在的问题是为什么会产生不一致的现象？我昨天下班前，将yarn-site.xml文件复制到hbase的配置路径下，重启hbase后，问题解决，运行importtsv数据导入成功。有哪位大神知道为什么要单独将yarn-site.xml文件复制到hbase的配置路径下？