分享

yarn nodemanager启动时报log和local硬盘错误问题,nodemanager状态显示unhealthy

samfisher 发表于 2017-11-5 21:26:13 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 8 11096
咨询大家一个很奇怪的问题i,我现在正在安装一套hadoop平台,在安装完Yarn HA环境之后,启动yarn resourcemanager 服务没有问题,启动nodemanager服务的时候,系统显示服务可以启动,然而nodemanger启动日志报这个错误:
2017-11-05 20:54:39,660 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Unable to create directory /hdfs/data1/yarn_file/local error mkdir of /hdfs/data1/yarn_file failed, removing from the list of valid directories.
2017-11-05 20:54:39,661 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Unable to create directory /hdfs/data2/yarn_file/local error mkdir of /hdfs/data2/yarn_file failed, removing from the list of valid directories.
2017-11-05 20:54:39,661 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Unable to create directory /hdfs/data1/yarn_file/log error mkdir of /hdfs/data1/yarn_file failed, removing from the list of valid directories.
2017-11-05 20:54:39,662 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Unable to create directory /hdfs/data2/yarn_file/log error mkdir of /hdfs/data2/yarn_file failed, removing from the list of valid directories.
2017-11-05 20:54:39,662 ERROR org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService: Most of the disks failed. 2/2 local-dirs are bad: /hdfs/data1/yarn_file/local,/hdfs/data2/yarn_file/local; 2/2 log-dirs are bad: /hdfs/data1/yarn_file/log,/hdfs/data2/yarn_file/log
同时在网页里发现这些nodemanager节点状态都是unhealthy的状态,点开之后还是报 .../yarn_file/local 和.../yarn_file/log 目录错误的问题,报错和上面一样
我每一个节点上在启动前均创建了与之相对应的log和yarn目录,权限我尝试按yarn:yarn 775 给了,也尝试按777赋予了相应权限,但是nodemanager在启动过程中还是报这个错误。我是新创建集群,所以不存在这几个文件夹剩余空间少的问题,请问这个问题怎么解?

已有(8)人评论

跳转到指定楼层
samfisher 发表于 2017-11-5 21:34:56
在附上我的相关配置项
yarn-site.xml
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>file:///hdfs/data1/yarn_file/local,file:///hdfs/data2/yarn_file/local</value>
  </property>
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>file:///hdfs/data1/yarn_file/log,file:///hdfs/data2/yarn_file/log</value>
  </property>

每一个nodemanager节点都是这样子的
[root@node1 conf.my_cluster]# ls -la /hdfs/data1/yarn_file/
total 0
drwxrwxrwx 4 yarn yarn   28 Nov  5 20:27 .
drwx------ 4 hdfs hadoop 54 Nov  5 20:27 ..
drwxrwxrwx 2 yarn yarn    6 Nov  5 20:27 local
drwxrwxrwx 2 yarn yarn    6 Nov  5 20:27 log

[root@node1 conf.my_cluster]# df -h
Filesystem       Size  Used Avail Use% Mounted on
/dev/sda3         12G  7.3G  4.6G  62% /
devtmpfs         3.9G     0  3.9G   0% /dev
tmpfs            3.9G   80K  3.9G   1% /dev/shm
tmpfs            3.9G   17M  3.9G   1% /run
tmpfs            3.9G     0  3.9G   0% /sys/fs/cgroup
/dev/sdb1         20G   33M   20G   1% /hdfs/data1
/dev/sdc1         20G   33M   20G   1% /hdfs/data2
回复

使用道具 举报

nextuser 发表于 2017-11-5 22:25:51
samfisher 发表于 2017-11-5 21:34
在附上我的相关配置项
yarn-site.xml
  

有几台机器,如果使用Linux的本地,应该都需要创建。如果还不行,建议使用hdfs路径试试。
回复

使用道具 举报

samfisher 发表于 2017-11-6 09:55:06
总共5台机器,没台机器都有这些目录,每台机器的配置都和这台一样,没台机器都报这个错误。不行我就用/tmp或者hdfs试试了
回复

使用道具 举报

desehawk 发表于 2017-11-6 10:02:39
samfisher 发表于 2017-11-6 09:55
总共5台机器,没台机器都有这些目录,每台机器的配置都和这台一样,没台机器都报这个错误。不行我就用/tmp ...

Linux用户是哪一个,可以尝试授权运行Yarn的Linux用户,如果是root下运行的授权为root。并且注意是用哪个用户安装的hadoop。最好在那个用户下安装
回复

使用道具 举报

samfisher 发表于 2017-11-6 10:29:16
如果是root下运行的授权为root这句话我应怎么理解呢?我用的安装用户是root用户,这些本地目录的权限是777
回复

使用道具 举报

desehawk 发表于 2017-11-6 12:23:41
samfisher 发表于 2017-11-6 10:29
如果是root下运行的授权为root这句话我应怎么理解呢?我用的安装用户是root用户,这些本地目录的权限是777

改变他们的所属用户和用户组,用chown
drwxrwxrwx 4 root root   28 Nov  5 20:27 .


回复

使用道具 举报

samfisher 发表于 2017-11-6 13:23:57
我现在是yarn:yarn 777,我按你的方法改成root:root,再试试
回复

使用道具 举报

FreePOTW 发表于 2017-11-6 13:56:11
但我应该相信是缘分
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条