about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 300321|回复: 32

[实操演练] hadoop2.7【单节点】单机、伪分布、分布式安装指导

[复制链接]
发表于 2015-4-27 22:38:12 | 显示全部楼层 |阅读模式
问题导读

1.从本文部署实际部署,总结本地模式、伪分布、分布式的区别是什么?
2.单机是否是伪分布?
3.本地模式是否可以运行mapreduce?







hadoop2.7发布,这一版不太适合用于生产环境,但是并不影响学习:由于hadoop安装方式有三种,并且三种安装方式都可以在前面的基础上继续配置,分别是:

  • 本地模式
  • 伪分布
  • 分布式


###############################################
1.准备

安装jdk1.7参考
linux(ubuntu)安装Java jdk环境变量设置及小程序测试

测试:
Java -version
jdk.png

安装ssh

  1. sudo apt-get install ssh
复制代码
  1.   $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  2.   $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  3.   $ export HADOOP\_PREFIX=/usr/local/hadoop
复制代码

最后达到无密码登录

  1. ssh localhost
复制代码

ssh.png


安装rsync
  1. sudo apt-get install rsync
复制代码

修改网卡:
注释掉127.0.1.1 ubuntu
添加新的映射
10.0.0.81 ubuntu


这里必须修改,否则后面会遇到连接拒绝等问题

2.安装

进入配置文件目录

我这里是

~/hadoop-2.7.0/etc/hadoop

config.png


修改配置文件:
etc/hadoop/hadoop-env.sh

添加JAVA_HOME、HADOOP_COMMON_HOME
  1. export JAVA_HOME=/usr/jdk
  2. export HADOOP_COMMON_HOME=~/hadoop-2.7.0
复制代码

配置环境变量

sudo nano /etc/environment

增加hadoop配置
将下面添加到变量PATH中
  1. /home/aboutyun/hadoop-2.7.0/bin:/home/aboutyun/hadoop-2.7.0/sbin:
复制代码



env.png

########################################################
3.本地模式验证[可忽略]

所谓的本地模式:在运行程序的时候,比如wordcount是在本地磁盘运行的
上面已经配置完毕,我们对其测试,分别执行面命令:
注意: bin/hadoop的执行条件是在hadoop_home中,我这里是
  1.   $ mkdir input
复制代码
  1. $ cp etc/hadoop/*.xml input
复制代码

  1. $bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep input output 'dfs[a-z.]+'
复制代码
hadoopjar.png


  1. $ cat output/*
复制代码
output.png


##################################################################
上面本地模式,我们知道就可以,我们下面继续配置伪分布模式
4.伪分布模式

我这里的全路径:/home/aboutyun/hadoop-2.7.0/etc/hadoop


修改文件etc/hadoop/core-site.xml
添加如下内容:
含义:接收Client连接的RPC端口,用于获取文件系统metadata信息。
  1. <configuration>
  2.   <property>
  3.         <name>fs.defaultFS</name>
  4.         <value>hdfs://localhost:9000</value>
  5.     </property>
  6. </configuration>
复制代码



core-site.png


修改etc/hadoop/hdfs-site.xml:
添加如下内容:
含义:备份只有一份
  1. <configuration>
  2.     <property>
  3.         <name>dfs.replication</name>
  4.         <value>1</value>
  5.     </property>
  6. </configuration>
复制代码
2.png


###################################
补充重要:
由于系统重启后,找不到namenode进程,这是因为系统在重启后被删除,所以加入下面配置
[XML] 纯文本查看 复制代码
<property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/aboutyun123/dfs/name</value>
       </property>
      <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:/home/aboutyun123/dfs/data</value>
       </property>


同时,注意权限

1.png


###################################



5.伪分布模式

1.格式化namenode
  1. hdfs namenode -format
复制代码
有的地方使用
  1. bin/hdfs namenode -format
复制代码
如果配置的环境变量直接使用hdfs namenode -format即可

2.启动集群
  1. start-dfs.sh
复制代码
start.png


这时候单节点伪分布就已经安装成功了

#####################################################
验证[可忽略]
输入下面
  1. http://localhost:50070/
复制代码
如果是在虚拟机中安装,但是在宿主主机中访问,需要输入虚拟机ip地址
这里虚拟机ip地址是10.0.0.81

ip address.png

所以,我这里是
  1. http://10.0.0.81:50070/
复制代码


hadoop50070.png


配置到这里也是可以的,我们同样可以运行wordcount,也就是我们的mapreduce不运行在yarn上。如果想让程序运行在yarn上,继续下面配置
#####################################################

6.配置Yarn

1.修改配置文件
修改配置文件mapred-site.xml
编辑文件etc/hadoop/mapred-site.xml,添加下面内容由于etc/hadoop中没有mapred-site.xml,所以对mapred-queues.xml.template复制一份
  1. cp mapred-site.xml.template mapred-site.xml
复制代码
然后编辑文件mapred-site.xml
添加
  1. <property>
  2.         <name>mapreduce.framework.name</name>
  3.         <value>yarn</value>
  4.     </property>
复制代码

最后形式:
mapred-site.png


修改配置文件yarn-site.xml

添加如下内容:
  1.   <property>
  2.         <name>yarn.nodemanager.aux-services</name>
  3.         <value>mapreduce_shuffle</value>
  4.     </property>
复制代码



yarn-site.png


2.启动yarn
  1. start-yarn.sh
复制代码

start-yarn.png

(由于我这里已经配置了环境变来那个,所以在哪个地方都可以运行start-yarn.sh)
如果你没有配置环境变量,则需要进入hadoop_home,执行下面命令

  1. sbin/start-yarn.sh
复制代码

3.验证
启动yarn之后,输入
  1. http://localhost:8088/
复制代码
即可看到下面界面

http-yarn.png


下一篇hadoop2.7 运行wordcount

遇到问题

问题1:
  1. Error: Could not find or load main class

  2. org.apache.hadoop.hdfs.server.namenode.NameNode
复制代码


解决办法:
在~/hadoop-2.7.0/etc/hadoop/hadoop-env.sh中添加
  1. export HADOOP_COMMON_HOME=~/hadoop-2.7.0
复制代码
重启生效

问题2:
格式化Java_home not found
  1. bin/hdfs namenode -format
复制代码
在/etc/environment 中添加
  1. export JAVA_HOME=/usr/jdk
复制代码


生效
  1. source /etc/environment
复制代码
重启[如还不行,重启]
  1. sudo init 6
复制代码






0

主题

2

听众

0

收听

注册会员

Rank: 2

积分
73
发表于 2015-4-28 09:00:45 | 显示全部楼层
不错 谢谢楼主分享  

0

主题

2

听众

0

收听

高级会员

Rank: 4

积分
1289
发表于 2015-4-28 14:33:58 | 显示全部楼层
谢谢分享。。。伪分布已搭建完成 捕获1.PNG
捕获.PNG

0

主题

16

听众

0

收听

高级会员

Rank: 4

积分
2484
发表于 2015-4-28 15:22:18 | 显示全部楼层
谢谢楼主分享。      

0

主题

2

听众

0

收听

新手上路

Rank: 1

积分
24
发表于 2015-6-6 12:03:37 | 显示全部楼层
请教一下版主,我在ubuntu下面已经成功搭建好了HADOOP系统,现在我是想将几台windows的机器加入到HDFS的list上来,也就是说widnows平台的系统仅做DFHS的一部分,用于存储数据。请问这个能实现么?
我在windows的系统上安装了cgywin64并成功设置了ssh的免密码登陆。但可惜的是无法正常启动datanode, 谢谢!
 楼主| 发表于 2015-6-6 12:04:50 | 显示全部楼层
yexingqi2005 发表于 2015-6-6 12:03
请教一下版主,我在ubuntu下面已经成功搭建好了HADOOP系统,现在我是想将几台windows的机器加入到HDFS的lis ...

不建议cywindow

0

主题

2

听众

0

收听

新手上路

Rank: 1

积分
24
发表于 2015-6-6 12:08:07 | 显示全部楼层

谢谢,那请问我能通过什么方式来实现在windows下面的DHFS的启动呢?


我也曾经单独在一台win7的机器上运行hadoop 2.7,运行运行cmd的命令启动成功,但是我找不到任何资料可以将二台win7联接起来的方法。似乎win7下面只能做单机? 我猜测不应该这样的啊?

还请版主指点!感谢不尽!

0

主题

2

听众

0

收听

QQ游客

积分
353
发表于 2015-7-26 09:59:24 | 显示全部楼层
楼主我想问下,现在Hadoop2.7还需要自己编译吗,还是down下来可以直接用了?

点评

64位直接能用  发表于 2015-8-7 11:02

0

主题

2

听众

0

收听

新手上路

Rank: 1

积分
24
发表于 2015-8-11 21:43:36 | 显示全部楼层
楼主我想请问,我成功运行了本地模式验证,但是伪分布式运行命令start-dfs.sh时,出现command not found的错误。 并且再次尝试本地模式验证时,出现如下错误:
Java HotSpot(TM) Client VM warning: You have loaded library /usr/local/hadoop/hadoop-2.7.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
15/08/11 21:28:16 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/08/11 21:28:17 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id
15/08/11 21:28:17 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
java.net.ConnectException: Call From lab401-virtual-machine/10.0.0.81 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused…………

请问该如何解决?辛苦楼主了
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2019-6-24 17:16 , Processed in 0.581328 second(s), 36 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表