about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 1024|回复: 7

[异常错误] Hadoop集群搭建成功之后无法上传文件

[复制链接]

0

主题

0

听众

0

收听

注册会员

Rank: 2

积分
50
发表于 2018-9-13 19:15:12 | 显示全部楼层 |阅读模式
最近在centOS6.8上搭建的Hadoop2.6.0cdh5.5.0版本,搭建好之后集群状态正常,使用put命令上传文件的时候报错,报错内容如下图
VK0ZQ{PB(EH}QLW$YWNI57T.png
,从节点查看日志信息显示如下:

,但是查看进程呢一切进程是正常的
9FHUCGYYFTXP1VT0`TQO{LF.png
而且执行其他命令的时候可以执行,试过了网上的各种方案,检查防火墙已经全部关闭,集群内存资源占用率目前足够。这是什么原因呢?

从.png
发表于 2018-9-13 19:28:13 | 显示全部楼层

1.png

楼主的目标主机hostname竟然是 1x1,这个名字的原因。

0

主题

0

听众

0

收听

注册会员

Rank: 2

积分
50
 楼主| 发表于 2018-9-14 16:05:12 | 显示全部楼层
desehawk 发表于 2018-9-13 19:28
楼主的目标主机hostname竟然是 1x1,这个名字的原因。

抱歉,那个名字不是1x1,是我的主机名 是小写的L

20

主题

15

听众

14

收听

高级会员

Rank: 4

积分
1549
发表于 2018-9-14 16:15:34 | 显示全部楼层
可以通过web UI界面查看进程是否正常,看看dataNode的存活状态,有可能假死了,另外就是主机名和ip 解析的问题,可以用ip 不用主机名访问试试,配置slave 文件,和hosts文件,再测试一次

0

主题

0

听众

0

收听

注册会员

Rank: 2

积分
50
 楼主| 发表于 2018-9-14 17:23:25 | 显示全部楼层
yunge2016 发表于 2018-9-14 16:15
可以通过web UI界面查看进程是否正常,看看dataNode的存活状态,有可能假死了,另外就是主机名和ip 解析的 ...

web UI访问50070端口进程正常,可以正常在Hadoop集群上执行ls  mkdir等命令,只有在执行Hadoop fs -put命令的时候报错,导致后期执行MR程序的时候对Hadoop集群的目录结构进行更改也会失败

20

主题

15

听众

14

收听

高级会员

Rank: 4

积分
1549
发表于 2018-9-15 08:16:54 | 显示全部楼层
看看 是不是在安全模式呢, safemode. hadoop  dfs  -safemode  get

48

主题

7

听众

5

收听

高级会员

Rank: 4

积分
2125
发表于 2018-9-15 08:22:01 | 显示全部楼层
HXH黄爷 发表于 2018-9-14 16:05
抱歉,那个名字不是1x1,是我的主机名 是小写的L

把主机名该下,避免造成错误解析
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /3 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2018-11-19 04:49 , Processed in 0.409383 second(s), 36 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表