分享

hadoop出现hadoop2.X部署警告: Unable to load native-hadoop library 总结

pig2 2015-5-12 20:20:42 发表于 总结型 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 6 83280
本帖最后由 pig2 于 2015-5-12 21:15 编辑

很多同学在安装部署的时候,遇到了问题 Unable to load native-hadoop library 总结。
原因1:64位使用了32本地库

案例1:
[root@lsn-linux hadoop-2.6.0]# hadoop fs -ls /
14/12/09 19:43:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[root@lsn-linux hadoop-2.6.0]#

原因是hadoop-2.6.0.tar.gz安装包是在32位机器上编译的,64位的机器加载本地库.so文件时出错,不影响使用。
解决:
1、重新编译源码后将新的lib/native替换到集群中原来的lib/native

这里替换完毕,可是还是出现,在增加下面配置。

2、修改hadoop-env.sh ,增加
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"



上面解决办法比较正统的,当然还有其他办法

修改一下core-site.xml这个配置



###########################################
上面是部署开发,这里是开发环境

错误如下:
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
解决办法:
1.首先将hadoop.dll放到hadoop的bin目录下,如下图所示






已有(6)人评论

跳转到指定楼层
韩克拉玛寒 发表于 2015-5-13 09:34:00
赞同,不我过也是2.6版本的。我的是64位系统,就编译了,之后没有配置其他的。就解决那个问题。
回复

使用道具 举报

也许那样飞 发表于 2015-5-13 23:32:13
非常感谢,正好遇到这个问题了,,,,
回复

使用道具 举报

咖啡blue 发表于 2015-5-14 17:36:18
Eclipse运行hdfs api 时发现这个问题,只需要在bin下添加hadoop.dll和winutils.exe吗?
回复

使用道具 举报

credit 发表于 2016-3-15 11:20:18
楼主是否有2.6版本的编译后的native 急求
回复

使用道具 举报

天使流_p0y6m 发表于 2018-3-27 15:59:12
咖啡blue 发表于 2015-5-14 17:36
Eclipse运行hdfs api 时发现这个问题,只需要在bin下添加hadoop.dll和winutils.exe吗?

你好,问题有解决了吗
回复

使用道具 举报

hyj 发表于 2018-3-27 16:59:50
天使流_p0y6m 发表于 2018-3-27 15:59
你好,问题有解决了吗

只要版本对应,添加正确,一般没有问题的。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条