图文精华

About云-梭伦科技»专题 › 交流区 › 技术交流 › Hadoop|YARN › 【Hadoop学习】CDH5.2安装部署
分享

【Hadoop学习】CDH5.2安装部署

xioaxu790 发表于 2015-1-4 20:16:56 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 52764
About云VIP帮助找工作和提升
本帖最后由 xioaxu790 于 2015-1-4 20:19 编辑
问题导读
1、CDH5.2安装部署，需要哪些条件？
2、需要将哪些文件复制到集群中的所有主机上？
3、如何测试YARN？





【平台】Centos 6.5
【工具】scp
【软件】jdk-7u67-linux-x64.rpm
　　　　CDH5.2.0-hadoop2.5.0

【步骤】
　　　　1. 准备条件
　　　　　　（1）集群规划
  
主机类型
  
IP地址
域名
master
192.168.50.10
master.hadoop.com
slave1
192.168.50.11
slave1.hadoop.com
slave2
192.168.50.12
slave2.hadoop.com
slave3
192.168.50.13
slave3.hadoop.com


   　　　　　（2）以root身份登录操作系统

　　　　　　（3）在集群中的每台主机上执行如下命令，设置主机名。
  1.   hostname *.hadoop.com
复制代码

　　　　　　　　  编辑文件/etc/sysconfig/network如下
  1.   HOSTNAME=*.hadoop.com
复制代码


　　　　　　（4）修改文件/etc/hosts如下
  1. 　　　 192.168.86.10 master.hadoop.com

  2. 　　　　　　　　 192.168.86.11 slave1.hadoop.com

  3. 　　　　　　　　 192.168.86.12 slave2.hadoop.com

  4. 　　　　　　　　 192.168.86.13 slave3.hadoop.com
复制代码


　　　　　　　　  执行如下命令，将hosts文件复制到集群中每台主机上
  1.  scp /etc/hosts 192.168.50.*:/etc/hosts
复制代码


　　　　　　（5）安装jdk
  1. rpm -ivh jdk-7u67-linux-x64.rpm
复制代码


　　　　　　　　 创建文件
  1. 　  echo -e "JAVA_HOME=/usr/java/default\nexport PATH=\$JAVA_HOME/bin:\$PATH" > /etc/profile.d/java-env.sh 

  2.     . /etc/profile.d/java-env.sh
复制代码


　　　　　　（6）关闭iptables
  1. 　 　　service iptables stop 
复制代码


　　　　　　（7）关闭selinux。修改文件/etc/selinux/config，然后重启操作系统
  1.  SELINUX=disabled
复制代码


　　　　2. 安装 （with YARN）

　　　　　　（1）在master.hadoop.com主机上执行
  1. 　　   yum install hadoop-yarn-resourcemanager hadoop-mapreduce-historyserver hadoop-yarn-proxyserver hadoop-hdfs-namenode 
复制代码


　　　　　　（2）在所有的slave*.hadoop.com主机上执行
  1. yum install hadoop-yarn-nodemanager hadoop-mapreduce hadoop-hdfs-datanode<span style="line-height: 1.5; background-color: rgb(255, 255, 255);">　　　   </span>
复制代码


　　　　3. 配置。将以下文件修改完毕后，用scp命令复制到集群中的所有主机上

　　　　　　（1）创建配置文件
  1. cp -r /etc/hadoop/conf.empty /etc/hadoop/conf.my_cluster

  2. alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.my_cluster 50

  3. alternatives --set hadoop-conf /etc/hadoop/conf.my_cluster
复制代码

　　　　　　（2）创建必要的本地文件夹
  1. sudo -u hdfs hadoop fs -mkdir -p /tmp && sudo -u hdfs hadoop fs -chmod -R 1777 /tmp

  2. sudo -u hdfs hadoop fs -mkdir -p /tmp/hadoop-yarn && sudo -u hdfs hadoop fs -chown -R mapred:mapred /tmp/hadoop-yarn

  3. sudo -u hdfs hadoop fs -mkdir -p /tmp/hadoop-yarn/staging/history/done_intermediate && sudo -u hdfs hadoop fs -chown -R mapred:mapred /tmp/hadoop-yarn/staging && sudo -u hdfs hadoop fs -chmod -R 1777 /tmp

  4. sudo -u hdfs hadoop fs -mkdir -p /var

  5. sudo -u hdfs hadoop fs -mkdir -p /var/log && sudo -u hdfs hadoop fs -chmod -R 1775 /var/log && sudo -u hdfs hadoop fs -chown yarn:mapred /var/log

  6. sudo -u hdfs hadoop fs -mkdir -p /var/log/hadoop-yarn/apps && sudo -u hdfs hadoop fs -chmod -R 1777 /var/log/hadoop-yarn/apps && sudo -u hdfs hadoop fs -chown yarn:mapred /var/log/hadoop-yarn/apps

  7. sudo -u hdfs hadoop fs -mkdir -p /user

  8. sudo -u hdfs hadoop fs -mkdir -p /user/history && sudo -u hdfs hadoop fs -chown mapred /user/history

  9. sudo -u hdfs hadoop fs -mkdir -p /user/test && sudo -u hdfs hadoop fs -chmod -R 777 /user/test && sudo -u hdfs hadoop fs -chown test /user/test

  10. sudo -u hdfs hadoop fs -mkdir -p /user/root && sudo -u hdfs hadoop fs -chmod -R 777 /user/root && sudo -u hdfs hadoop fs -chown root /user/root
复制代码

　　　　　　（3）修改配置文件
　　　　　　　　1）core-site.xml
  1.   <property>

  2.      <name>fs.defaultFS</name>

  3.      <value>hdfs://master.hadoop.com:8020</value>

  4.   </property>

  5. 

  6.   <property>

  7.      <name>fs.trash.interval</name>

  8.      <value>1440</value>

  9.   </property>

  10. 

  11.   <property>

  12.      <name>fs.trash.checkpoint.interval</name>

  13.      <value>720</value>

  14.   </property>

  15. 

  16.   <property>

  17.      <name>hadoop.proxyuser.mapred.groups</name>

  18.      <value>*</value>

  19.   </property>

  20. 

  21.   <property>

  22.      <name>hadoop.proxyuser.mapred.hosts</name>

  23.      <value>*</value>

  24.   </property>

  25. 

  26.   <property>

  27.      <name>io.compression.codecs</name>

  28.      <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.SnappyCodec</value>

  29.   </property>
复制代码

　　　　　　　　2）hdfs-site.xml
  1.   <property>

  2.      <name>dfs.permissions.superusergroup</name>

  3.      <value>hadoop</value>

  4.   </property>

  5. 

  6.   <property>

  7.      <name>dfs.namenode.name.dir</name>

  8.      <value>file:///data/1/dfs/nn</value>

  9.   </property>

  10. 

  11.   <property>

  12.      <name>dfs.datanode.data.dir</name>

  13.      <value>file:///data/1/dfs/dn,file:///data/2/dfs/dn,file:///data/3/dfs/dn,file:///data/4/dfs/dn</value>

  14.   </property>

  15. 

  16.   <property>

  17.      <name>dfs.datanode.failed.volumes.tolerated</name>

  18.      <value>3</value>

  19.   </property>

  20. 

  21.   <property>

  22.      <name>dfs.datanode.fsdataset.volume.choosing.policy</name>

  23.      <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>

  24.   </property>

  25. 

  26.   <property>

  27.      <name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold</name>

  28.      <value>10737418240</value>

  29.   </property>

  30. 

  31.   <property>

  32.      <name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction</name>

  33.      <value>0.75</value>

  34.   </property>

  35. 

  36.   <property>

  37.      <name>dfs.webhdfs.enabled</name>

  38.      <value>true</value>

  39.   </property>

  40. 

  41.   <property>

  42.      <name>dfs.webhdfs.user.provider.user.pattern</name>

  43.      <value>^[A-Za-z0-9_][A-Za-z0-9._-]*[$]?[        DISCUZ_CODE_845        ]lt;/value>

  44.   </property>
复制代码


　　　　　　　　3）yarn-site.xml
  1.   <property>

  2.     <name>yarn.resourcemanager.hostname</name>

  3.     <value>master.hadoop.com</value>

  4.   </property>

  5. 

  6.   <property>

  7.     <name>yarn.nodemanager.aux-services</name>

  8.     <value>mapreduce_shuffle</value>

  9.   </property>

  10. 

  11.   <property>

  12.     <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>

  13.     <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  14.   </property>

  15. 

  16.   <property>

  17.     <name>yarn.log-aggregation-enable</name>

  18.     <value>true</value>

  19.   </property>

  20. 

  21.   <property>

  22.     <description>List of directories to store localized files in.</description>

  23.     <name>yarn.nodemanager.local-dirs</name>

  24.     <value>/data/1/yarn/local,/data/2/yarn/local,/data/3/yarn/local,/data/4/yarn/local</value>

  25.   </property>

  26. 

  27.   <property>

  28.     <description>Where to store container logs.</description>

  29.     <name>yarn.nodemanager.log-dirs</name>

  30.     <value>/data/1/yarn/logs,/data/2/yarn/logs,/data/3/yarn/logs,/data/4/yarn/logs</value>

  31.   </property>

  32. 

  33.   <property>

  34.     <description>Where to aggregate logs to.</description>

  35.     <name>yarn.nodemanager.remote-app-log-dir</name>

  36.     <value>hdfs://master.hadoop.com:8020/var/log/hadoop-yarn/apps</value>

  37.   </property>

  38. 

  39.   <property>

  40.     <description>Classpath for typical applications.</description>

  41.      <name>yarn.application.classpath</name>

  42.      <value>

  43.         $HADOOP_CONF_DIR,

  44.         $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,

  45.         $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,

  46.         $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,

  47.         $HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*

  48.      </value>

  49.   </property>

  50. 

  51.   <property>

  52.     <name>yarn.web-proxy.address</name>

  53.     <value>master.hadoop.com</value>

  54.   </property>

  55. 

  56.   <property>

  57.     <description>It's not the memory the physical machine totally has, but that allocated to containers</description>

  58.     <name>yarn.nodemanager.resource.memory-mb</name>

  59.     <value>5120</value>

  60.   </property>

  61. 

  62.   <property>

  63.     <name>yarn.scheduler.minimum-allocation-mb</name>

  64.     <value>512</value>

  65.   </property>

  66. 

  67.   <property>

  68.     <name>yarn.scheduler.maximum-allocation-mb</name>

  69.     <value>10240</value>

  70.   </property>

  71.   <property>

  72.     <name>yarn.app.mapreduce.am.resource.mb</name>

  73.     <value>512</value>

  74.   </property>

  75. 

  76.   <property>

  77.     <name>yarn.app.mapreduce.am.command-opts</name>

  78.     <value>-Xmx512m</value>

  79.   </property>

  80. 

  81.   <property>

  82.     <name>yarn.nodemanager.vmem-pmem-ratio</name>

  83.     <value>2.1</value>

  84.   </property>

  85. 

  86.   <property>

  87.     <name>yarn.nodemanager.resource.cpu-vcores</name>

  88.     <value>4</value>

  89.   </property>

  90. 

  91.   <property>

  92.     <name>yarn.scheduler.minimum-allocation-vcores</name>

  93.     <value>1</value>

  94.   </property>

  95. 

  96.   <property>

  97.     <name>yarn.scheduler.maximum-allocation-vcores</name>

  98.     <value>10</value>

  99.   </property>

  100. 

  101.   <property>

  102.     <name>yarn.scheduler.increment-allocation-mb</name>

  103.     <value>512</value>

  104.   </property>

  105. 

  106.   <property>

  107.     <name>yarn.scheduler.increment-allocation-vcores</name>

  108.     <value>1</value>

  109.   </property>
复制代码


　　　　　　　　4）mapred-site.xml
  1.   <property>

  2.      <name>mapreduce.framework.name</name>

  3.      <value>yarn</value>

  4.   </property>

  5. 

  6.   <property>

  7.      <name>mapreduce.jobhistory.address</name>

  8.      <value>master.hadoop.com:10020</value>

  9.   </property>

  10. 

  11.   <property>

  12.      <name>mapreduce.jobhistory.webapp.address</name>

  13.      <value>master.hadoop.com:19888</value>

  14.   </property>

  15. 

  16.   <property>

  17.      <name>yarn.app.mapreduce.am.staging-dir</name>

  18.      <value>/user/history</value>

  19.   </property>

  20. 

  21.   <property>

  22.      <name>mapreduce.jobhistory.intermediate-done-dir</name>

  23.      <value>/user/history/intermediate-done-dir</value>

  24.   </property>

  25. 

  26.   <property>

  27.      <name>mapreduce.jobhistory.done-dir</name>

  28.      <value>/user/history/done-dir</value>

  29.   </property>
复制代码

　　　　　　（4）复制配置文件到集群中的所有主机上
  1.   scp /etc/hadoop/conf.my_cluster/*-site.xml  192.168.50.*:/etc/hadoop/conf.my_cluster/
复制代码


　　　　 4. 格式化HDFS
  1.  sudo -u hdfs hdfs namenode -format
复制代码


　　　　 5. 启动HDFS
  1. 　 for x in `cd /etc/init.d ; ls hadoop-hdfs-*`; do service $x start; done
复制代码


　　　　 6. 在HDFS上创建必要的文件夹
  1. sudo -u hdfs hadoop fs -mkdir -p /tmp && sudo -u hdfs hadoop fs -chmod -R 1777 /tmp

  2. sudo -u hdfs hadoop fs -mkdir -p /tmp/hadoop-yarn && sudo -u hdfs hadoop fs -chown -R mapred:mapred /tmp/hadoop-yarn

  3. sudo -u hdfs hadoop fs -mkdir -p /tmp/hadoop-yarn/staging/history/done_intermediate && sudo -u hdfs hadoop fs -chown -R mapred:mapred /tmp/hadoop-yarn/staging && sudo -u hdfs hadoop fs -chmod -R 1777 /tmp

  4. sudo -u hdfs hadoop fs -mkdir -p /var

  5. sudo -u hdfs hadoop fs -mkdir -p /var/log && sudo -u hdfs hadoop fs -chmod -R 1775 /var/log && sudo -u hdfs hadoop fs -chown yarn:mapred /var/log

  6. sudo -u hdfs hadoop fs -mkdir -p /var/log/hadoop-yarn/apps && sudo -u hdfs hadoop fs -chmod -R 1777 /var/log/hadoop-yarn/apps && sudo -u hdfs hadoop fs -chown yarn:mapred /var/log/hadoop-yarn/apps

  7. sudo -u hdfs hadoop fs -mkdir -p /user

  8. sudo -u hdfs hadoop fs -mkdir -p /user/history && sudo -u hdfs hadoop fs -chown mapred /user/history

  9. sudo -u hdfs hadoop fs -mkdir -p /user/test && sudo -u hdfs hadoop fs -chmod -R 777 /user/test && sudo -u hdfs hadoop fs -chown test /user/test

  10. sudo -u hdfs hadoop fs -mkdir -p /user/root && sudo -u hdfs hadoop fs -chmod -R 777 /user/root && sudo -u hdfs hadoop fs -chown root /user/root
复制代码


　　　　 7. 操作YARN
　　　　　  在集群中每台机器上执行如下命令：
　　　　　　（1）启动  
  1. service hadoop-yarn-resourcemanager start;service hadoop-mapreduce-historyserver start;service hadoop-yarn-proxyserver start;service hadoop-yarn-nodemanager start
复制代码

　　　　　　（2）查看  
  1. service hadoop-yarn-resourcemanager status;service hadoop-mapreduce-historyserver status;service hadoop-yarn-proxyserver status;service hadoop-yarn-nodemanager status
复制代码

　　　　　　（3）停止  
  1. service hadoop-yarn-resourcemanager stop;service hadoop-mapreduce-historyserver stop;service hadoop-yarn-proxyserver stop;service hadoop-yarn-nodemanager stop
复制代码

　　　　　  （4）重启  
  1. service hadoop-yarn-resourcemanager restart;service hadoop-mapreduce-historyserver restart;service hadoop-yarn-proxyserver restart;service hadoop-yarn-nodemanager restart
复制代码


　　　　 8. 安装Hadoop客户端
　　　　　　（1）安装CentOS 6.5

　　　　　　（2）以root身份登录，执行以下命令：
  1. rpm -ivh jdk-7u67-linux-x64.rpm

  2. 

  3. yum install hadoop-client

  4. 

  5. cp -r /etc/hadoop/conf.empty /etc/hadoop/conf.my_cluster

  6. alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.my_cluster 50

  7. alternatives --set hadoop-conf /etc/hadoop/conf.my_cluster

  8. 

  9. scp 192.168.50.10:/etc/hadoop/conf.my_cluster/*-site.xml /etc/hadoop/conf.my_cluster/

  10. scp 192.168.50.10:/etc/hosts /etc/

  11. scp 192.168.50.10:/etc/profile.d/hadoop-env.sh /etc/profile.d/

  12. . /etc/profile

  13. 

  14. useradd -u 700 -g hadoop test

  15. passwd test <test用户密码>
复制代码


  　　　 9. 测试Hadoop with YARN
  1. su - test

  2. 

  3. #计算Pi

  4. hadoop fs -mkdir input

  5. hadoop fs -put /etc/hadoop/conf/*.xml input

  6. hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount input output

  7. hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 2 100

  8. 

  9. #执行grep任务

  10. hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar grep input output 'dfs[a-z.]+'

  11. hadoop fs -ls output

  12. hadoop fs -cat output/part-r-00000 | head
复制代码




关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

没找到任何评论，期待你打破沉寂

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
xioaxu790

金牌会员

关注

  • 851

    主题

  • 1000

    帖子

  • 108

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000