图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › Hadoop|YARN › 连载型› hadoop2.5.1集群搭建：搭建手工切换ha的hdfs集群
分享

hadoop2.5.1集群搭建：搭建手工切换ha的hdfs集群

desehawk 2014-12-7 01:49:13 发表于 连载型 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 18141
About云VIP帮助找工作和提升

导读
本文搭建仅供参考，帮助大家搭建过程有一个整体的架构，细节不够仔细，如果初次搭建集群，建议从hadoop集群开始。
可参考
hadoop2.2完全分布式最新高可靠安装文档





-----------------------------
1.搭建手工切换HA(high availibility)的HDFS集群
-----------------------------
  1. namenode：hadoop1和hadoop2

  2. datanode：hadoop3、hadoop4、hadoop5、hadoop6

  3. journalnode：hadoop1、hadoop2、hadoop3
复制代码



1.0 配置linux环境
1.0.1 确保虚拟机直接可以ping成功
1.0.2 设置hostname
  1.        vi /etc/sysconfig/network
复制代码



1.0.3 配置/etc/hosts
  1.        vi /etc/hosts
复制代码



1.0.4 关闭防火墙
  1.        service iptables stop

  2.         chkconfig iptables off
复制代码



1.0.5 实现ssh免密码登录
  1.          ssh-keygen -t rsa

  2.          ssh-copy-id -i hadoop2(被登录登录的机器)
复制代码



1.0.6 jdk安装
          （1）下载，并解压
          （2）修改环境变量  vi /etc/profile 增加内容如下:
                
  1.                        export JAVA_HOME=/usr/local/jdk

  2.                                         export PATH=.:$JAVA_HOME/bin:$PATH
复制代码


          （3）source /etc/profile        验证:  
  1.   java -version
复制代码



1.1 配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、slaves)
1.1.1 hadoop-env.sh
  1.   export JAVA_HOME=/usr/local/jdk1.7.0-45
复制代码




1.1.2 core-site.xml

  1. <property>

  2. <name>fs.defaultFS</name>

  3. <value>hdfs://cluster1</value>

  4. </property>

  5. 

  6. <property>

  7. <name>hadoop.tmp.dir</name>

  8. <value>/usr/local/hadoop/tmp</value>

  9. </property>
复制代码




1.1.3 hdfs-site.xml
  1. 

  2. <property>

  3. <name>dfs.replication</name>

  4. <value>3</value>

  5. </property>

  6. 

  7. <property>

  8. <name>dfs.nameservices</name>

  9. <value>cluster1</value>

  10. </property>

  11. 

  12. <property>

  13. <name>dfs.ha.namenodes.cluster1</name>

  14. <value>hadoop1,hadoop2</value>

  15. </property>

  16. 

  17. <property>

  18. <name>dfs.namenode.rpc-address.cluster1.hadoop1</name>

  19. <value>hadoop1:9000</value>

  20. </property>

  21. 

  22. <property>

  23. <name>dfs.namenode.http-address.cluster1.hadoop1</name>

  24. <value>hadoop1:50070</value>

  25. </property>

  26. 

  27. <property>

  28. <name>dfs.namenode.rpc-address.cluster1.hadoop2</name>

  29. <value>hadoop2:9000</value>

  30. </property>

  31. 

  32. <property>

  33. <name>dfs.namenode.http-address.cluster1.hadoop2</name>

  34. <value>hadoop2:50070</value>

  35. </property>

  36. 

  37. <property>

  38. <name>dfs.ha.automatic-failover.enabled.cluster1</name>

  39. <value>false</value>

  40. </property>

  41. 

  42. <property>

  43. <name>dfs.namenode.shared.edits.dir</name>

  44. <value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/cluster1</value>

  45. </property>

  46. 

  47. <property>

  48. <name>dfs.journalnode.edits.dir</name>

  49. <value>/usr/local/hadoop/tmp/journal</value>

  50. </property>

  51. 

  52. <property>

  53. <name>dfs.ha.fencing.methods</name>

  54. <value>sshfence</value>

  55. </property>

  56. 

  57. <property>

  58. <name>dfs.ha.fencing.ssh.private-key-files</name>

  59. <value>/root/.ssh/id_rsa</value>

  60. </property>

  61. 

  62. <property>

  63. <name>dfs.client.failover.proxy.provider.cluster1</name>

  64. <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

  65. </property>
复制代码



1.1.4 slaves
  1. hadoop3

  2. hadoop4

  3. hadoop5

  4. hadoop6
复制代码




1.1.5 把hadoop1上的hadoop文件夹复制到hadoop2、hadoop3、hadoop4、hadoop5、hadoop6节点
   
  1.      scp -r hadoop2.5 hadoop2:/home/hadoop/opt
复制代码



1.2 启动journalnode集群
  在hadoop1、hadoop2、hadoop3上分别执行hadoop/sbin/hadoop-daemon.sh start journalnode
1.3 格式化namenode、启动namenode
  在hadoop1上执行hadoop/bin/hdfs namenode -format
  在hadoop1上分别执行hadoop/sbin/hadoop-daemon.sh start namenode
  在hadoop2上执行hadoop/bin/hdfs namenode -bootstrapStandby
  在hadoop2上分别执行hadoop/sbin/hadoop-daemon.sh start namenode
  在hadoop1上执行hadoop/bin/hdfs haadmin -failover --forceactive hadoop2 hadoop1

1.4 启动datanode
  在hadoop1上分别执行hadoop/sbin/hadoop-daemons.sh start datanode




搭建自动切换HA的HDFS集群(比手工切换ha集群，多了zookeeper集群)
----------------------------------------------------------------------------------------------
zookeeper：hadoop2-1、hadoop2-2、hadoop2-3
namenode：hadoop2-1和hadoop2-2
datanode：hadoop2-3、hadoop2-4、hadoop2-5、hadoop2-6
journalnode：hadoop2-1、hadoop2-2、hadoop2-3


2.0 搭建zookeeper集群，并启动
2.0.1  在hadoop2-1上解压缩，重命名为zookeeper，把conf/zoo_sample.cfg重命名为conf/zoo.cfg
  修改文件conf/zoo.cfg
  (1)dataDir=/usr/local/zookeeper/data
  (2)增加以下内容
  1.      server.1=hadoop2-1:2888:3888

  2.      server.2=hadoop2-2:2888:3888

  3.      server.3=hadoop2-3:2888:3888
复制代码


  创建目录mkdir zookeeper/data
  写入文件echo 1 >> zookeeper/data/myid
  
  复制zookeeper文件夹到hadoop2-2、hadoop2-3上
  scp -rq zookeeper  hadoop2-2:/usr/local
  scp -rq zookeeper  hadoop2-3:/usr/local
  
  在hadoop2上执行命令echo 2 >> zookeeper/data/myid
  在hadoop3上执行命令echo 3 >> zookeeper/data/myid
2.0.2 启动
  在hadoop2-1、hadoop2-2、hadoop2-3上，分别执行命令zookeeper/bin/zkServer.sh start
2.0.3 验证
  执行命令zookeeper/bin/zkCli.sh
  进入后执行ls /


2.1 配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、slaves)
2.1.1 hadoop-env.sh
  1.   export JAVA_HOME=/usr/local/jdk1.7.0-45
复制代码


2.1.2 core-site.xml

  1. <property>

  2. <name>fs.defaultFS</name>

  3. <value>hdfs://cluster1</value>

  4. </property>

  5. 

  6. <property>

  7. <name>hadoop.tmp.dir</name>

  8. <value>/usr/local/hadoop/tmp</value>

  9. </property>

  10. 

  11. <property>

  12. <name>ha.zookeeper.quorum</name>

  13. <value>hadoop2-1:2181,hadoop2-2:2181,hadoop2-3:2181</value>

  14. </property>
复制代码



2.1.3 hdfs-site.xml
  1. <property>

  2. <name>dfs.replication</name>

  3. <value>3</value>

  4. </property>

  5. 

  6. <property>

  7. <name>dfs.nameservices</name>

  8. <value>cluster1</value>

  9. </property>

  10. 

  11. <property>

  12. <name>dfs.ha.namenodes.cluster1</name>

  13. <value>hadoop2-1,hadoop2-2</value>

  14. </property>

  15. 

  16. <property>

  17. <name>dfs.namenode.rpc-address.cluster1.hadoop2-1</name>

  18. <value>hadoop2-1:9000</value>

  19. </property>

  20. 

  21. <property>

  22. <name>dfs.namenode.http-address.cluster1.hadoop2-1</name>

  23. <value>hadoop2-1:50070</value>

  24. </property>

  25. 

  26. <property>

  27. <name>dfs.namenode.rpc-address.cluster1.hadoop2-2</name>

  28. <value>hadoop2-2:9000</value>

  29. </property>

  30. 

  31. <property>

  32. <name>dfs.namenode.http-address.cluster1.hadoop2-2</name>

  33. <value>hadoop2-2:50070</value>

  34. </property>

  35. 

  36. <property>

  37. <name>dfs.ha.automatic-failover.enabled.cluster1</name>

  38. <value>true</value>

  39. </property>

  40. 

  41. <property>

  42. <name>dfs.namenode.shared.edits.dir</name>

  43. <value>qjournal://hadoop2-1:8485;hadoop2-2:8485;hadoop2:8485/cluster1</value>

  44. </property>

  45. 

  46. <property>

  47. <name>dfs.journalnode.edits.dir</name>

  48. <value>/usr/local/hadoop/tmp/journal</value>

  49. </property>

  50. 

  51. <property>

  52. <name>dfs.ha.fencing.methods</name>

  53. <value>sshfence</value>

  54. </property>

  55. 

  56. <property>

  57. <name>dfs.ha.fencing.ssh.private-key-files</name>

  58. <value>/root/.ssh/id_rsa</value>

  59. </property>

  60. 

  61. <property>

  62. <name>dfs.client.failover.proxy.provider.cluster1</name>

  63. <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

  64. </property>
复制代码



2.1.6 slaves
  1. hadoop2-3

  2. hadoop2-4

  3. hadoop2-5

  4. hadoop2-6
复制代码




2.1.7 删除其他节点的hadoop文件夹，然后把hadoop2-1上的hadoop文件夹复制到其他节点
2.2 格式化zk集群
  在hadoop2-1上执行hadoop/bin/hdfs zkfc -formatZK
2.3 启动journalnode集群
  在hadoop2-1、hadoop2-2、hadoop2-3上分别执行hadoop/sbin/hadoop-daemon.sh start journalnode
2.4 格式化namenode、启动namenode
  在hadoop2-1上执行hadoop/bin/hdfs namenode -format
  在hadoop2-1上分别执行hadoop/sbin/hadoop-daemon.sh start namenode
  在hadoop2-2上执行hadoop/bin/hdfs namenode -bootstrapStandby
  在hadoop2-2上分别执行hadoop/sbin/hadoop-daemon.sh start namenode
2.5 启动datanode
  在hadoop2-1上分别执行hadoop/sbin/hadoop-daemons.sh start datanode
2.6 启动ZKFC
  在hadoop2-1、hadoop2-2上 启动zkfc，执行命令hadoop/sbin/hadoop-daemon.sh start zkfc


总结：
  自动切换比手工切换多出来的
  (1)配置上core-site.xml增加了配置项ha.zookeeper.quorum；hdfs-site.xml中把dfs.ha.automatic-failover.enabled.cluster1改为true
  (2)操作上格式化zk，执行命令bin/hdfs zkfc -formatZK；启动zkfc，执行命令sbin/hadoop-daemon.sh start zkfc

搭建yarn集群
========================================
修改配置文件 yarn-site.xml

  1. <property>

  2. <name>yarn.resourcemanager.hostname</name>

  3. <value>crxy1</value>

  4. </property>

  5. 

  6. <property>

  7. <name>yarn.nodemanager.aux-services</name>

  8. <value>mapreduce_shuffle</value>

  9. </property>
复制代码



修改配置文件 mapred-site.xml

  1. <property>

  2. <name>mapreduce.framework.name</name>

  3. <value>yarn</value>

  4. </property>
复制代码



修改各个节点的以上配置

启动在hadoop2-1上执行 hadoop/sbin/start-yarn.sh





配置historyServer

1.在mapred-site中配置
  1. <property>

  2.         <name>mapreduce.jobhistory.address</name>

  3.         <value>hadoop2-2:10020</value>

  4.         <description>MapReduce JobHistory Server host:port.    Default port is 10020.</description>

  5.     </property>

  6.     <property>

  7.         <name>mapreduce.jobhistory.webapp.address</name>

  8.         <value>hadoop2-2:19888</value>

  9.         <description>MapReduce JobHistory Server Web UI host:port. Default port is 19888.</description>

  10.     </property>

  11. <property>

  12.         <name>mapreduce.jobhistory.intermediate-done-dir</name>

  13.         <value>/home/hadoop/opt/hadoop/tmp/mr_history</value>

  14.         <description>Directory where history files are written by MapReduce jobs.</description>

  15.     </property>

  16.     <property>

  17.         <name>mapreduce.jobhistory.done-dir</name>

  18.         <value>/home/hadoop/opt/hadoop/tmp/mr_history</value>

  19.         <description>Directory where history files are managed by the MR JobHistory Server.</description>

  20.     </property>

复制代码



2.在yarn-site.xml中配置
  1. <property> 

  2.     <name>yarn.log-aggregation-enable</name> 

  3.     <value>true</value> 

  4. </property>  
复制代码











3.复制到集群的其他节点


4.重新启动yarn平台
  sbin/stop-yarn.sh
  sbin/start-yarn.sh


  最后执行sbin/mr-jobhistory-daemon.sh start historyserver



关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

已有(4)人评论

跳转到指定楼层
正序浏览
flume168 发表于 2014-12-7 12:58:09
学习了，比较全
回复

使用道具 举报

yangq 发表于 2015-2-4 16:45:40
有没有谁是按照这个步奏去做的，成功没？
回复

使用道具 举报

bluebaby2006 发表于 2015-2-24 20:51:12
好资料  可以参照着做试验哈
回复

使用道具 举报

447995687 发表于 2015-4-3 09:44:05
学习了，顶一个！！
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
desehawk

实习版主

关注

  • 1058

    主题

  • 1959

    帖子

  • 190

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000