importtsv 导数遇到的问题

查看数: 16044 | 评论数: 10 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2016-10-25 16:09

正文摘要:

本帖最后由 XUELANG 于 2016-10-25 16:09 编辑 我在通过importtsv将文件从hdfs导入到hbase中时,反复报下面错误: 2016-10-25 15:47:43,724 INFO  [main] ipc.Client: Retrying connect to server: lo ...

回复

XUELANG 发表于 2016-10-31 10:00:41
desehawk 发表于 2016-10-27 21:59
这也需要阅读源码了。
楼主确定是这个原因吗?

这个问题是在提交JOB时发现的,后来不运行JOB,直接启动HBASE后,通过Hbase的WEB页面查看hmaster的配置,发现hbase调用的resourcemanger的端口和主机与实际配置的都不一致。不过目前将配置复制过去后,确实问题解决了。
desehawk 发表于 2016-10-27 21:59:16
XUELANG 发表于 2016-10-26 09:50
感谢各位的指点,hadoop的dfs和resourcemanager 本身没有问题,可以运行自带的wordcount例子;另外hbase本 ...

这也需要阅读源码了。
楼主确定是这个原因吗?

也就是说importtsv将文件从hdfs导入到hbase时候,提交job,用到的是hbase路径的配置文件yarn-site.xml
按照常理来说应该到hadoop配置文件下去找yarn-site.xml

所以还是需要查查源码
XUELANG 发表于 2016-10-26 09:52:12
arsenduan 发表于 2016-10-25 17:30
hosts所有的都是如何配置的
为何配置的hadoop1,但是连接是localhost

这个也是我要问的问题。
XUELANG 发表于 2016-10-26 09:50:10
感谢各位的指点,hadoop的dfs和resourcemanager 本身没有问题,可以运行自带的wordcount例子;另外hbase本身可以进行表的创建等操作;我的整个基本架构是这样的,三个虚拟机,第一个作为namenode和resourcemanager以及hbase的hmaster,另外2个作为datanode、nodemanager和HRegionServer,zookeeper部署在节点1上;遇到的问题是,我在用importtsv将文件导入到hbase时,报以上错误,我配置的resourcemanager.address的地址端口是192.168.72.131:8032,并且8032端口也是监听状态,但是hbase运行时配置中的resourcemanager.address的地址端口是localhost:18032,见上图,感觉hbase调用的是yarn的默认配置。现在的问题是为什么会产生不一致的现象?我昨天下班前,将yarn-site.xml文件复制到hbase的配置路径下,重启hbase后,问题解决,运行importtsv数据导入成功。有哪位大神知道为什么要单独将yarn-site.xml文件复制到hbase的配置路径下?
qcbb001 发表于 2016-10-25 18:50:54
配置HA了吗?
nextuser 发表于 2016-10-25 18:48:02
原因太多了,网络,配置文件,还有格式化失败等等
format失败的原因可能是用户对/tmp/hadoop的目录的权限不够,可以执行

[mw_shl_code=bash,true]sudo chown -R user /tmp/hadoop[/mw_shl_code]


楼主需一一排查下
desehawk 发表于 2016-10-25 17:53:38
本帖最后由 desehawk 于 2016-10-25 17:56 编辑
XUELANG 发表于 2016-10-25 17:05
集群是启动的,状态也是正常的。

最好上图,这样更清楚楼主的环境,一些主观性的看法,不能解决问题的。
这是在哪台机器,使用了什么命令。
arsenduan 发表于 2016-10-25 17:30:19
XUELANG 发表于 2016-10-25 17:05
集群是启动的,状态也是正常的。

hosts所有的都是如何配置的
为何配置的hadoop1,但是连接是localhost
XUELANG 发表于 2016-10-25 17:05:06
集群是启动的,状态也是正常的。
关闭

推荐上一条 /2 下一条