hadoop3.x常用配置与hadoop2.x有哪些不同

本帖最后由 pig2 于 2018-1-10 15:28 编辑
问题导读

1.如何指定hadoop临时路径？
2.dfs.blocksize可以使用那些单位？
3.mapreduce运行框架有哪三种？
4.mapreduce.admin.user.env设置为空值，不同操作系统会有哪些值？

hadoop3.x与hadoop2.x在配置方面基本变化不是很大。hadoop3.0在使用过程中，有些不配置，可能会产生问题。这里贴出hadoop3.0配置，供大家参考。对于基本的准备工作省略。如不会可参考：
hadoop（2.x）以hadoop2.2为例完全分布式最新高可靠安装文档
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7684

这里主要贴出配置文件及相关配置说明：

/etc/hadoop/core-site.xml

[mw_shl_code=xml,true]<configuration>
<property>
      <name>fs.defaultFS</name>
   <value>hdfs://master:9820</value>
</property>
<property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/hadoop3.0/tmp</value>
</property>
</configuration>[/mw_shl_code]

hadoop3.0端口发生了变化，在伪分布中hadoop依然是用的是9000端口，我们这里使用官网更改的端口9820端口变化参考：
hadoop3.0改变了哪些默认端口
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23592

uri: fs.defaultFS

hadoop.tmp.dir:临时路径

etc/hadoop/hdfs-site.xml:

[mw_shl_code=xml,true]<configuration>
<property>
      <name>dfs.replication</name>
      <value>3</value>
</property>
   <property>
      <name>dfs.permissions.enabled</name>
      <value>false</value>
</property>
   <property>
      <name>dfs.blocksize</name>
      <value>134217728</value>
</property>
</configuration>
[/mw_shl_code]

dfs.replication：hadoop副本的数目

dfs.permissions.enabled：如果为true，则在HDFS中启用权限检查。如果“false”，权限检查被关闭

新的默认的文件块大小，字节。你可以使用后缀k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa)

（比如：128k, 512m, 1g等等）或则提供完整的字节大小（(比如134217728为128 MB).）

etc/hadoop/mapred-site.xml:

[mw_shl_code=xml,true]<configuration>
<property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
</property>
<property>
      <name>mapreduce.admin.user.env</name>
      <value>HADOOP_MAPRED_HOME=$HADOOP _HOME</value>
</property>
<property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=$HADOOP _HOME</value>
</property>
</configuration>
[/mw_shl_code]

mapreduce.framework.name：可以为local, classic 或则 yarn.

local表示本地运行，classic表示经典mapreduce框架，yarn表示新的框架。

mapreduce.admin.user.env：如果map和reduce任务访问本地库（压缩等），则必须保留原始值。

当此值为空时，设置执行环境的命令将取决于操作系统：

Linux：LD_LIBRARY_PATH=$HADOOP_COMMON_HOME/lib/native.

windows：PATH =%PATH%;%HADOOP_COMMON_HOME%\\bin.

yarn.app.mapreduce.am.env：可以设置AM【AppMaster】端的环境变量

etc/hadoop/yarn-site.xml:

[mw_shl_code=xml,true]<configuration>
<property>
      <name>yarn.resourcemanager.hostname</name>
      <value>master</value>
</property>
<property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
</property>
<property>
      <name>yarn.nodemanager.env-whitelist</name>
<value> JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ</value>
</property>
  <property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>false</value>
</property>
</configuration>
[/mw_shl_code]

yarn.resourcemanager.hostname ：RM的主机名。

yarn.nodemanager.env-whitelist：容器可能会覆盖的环境变量，而不是使用NodeManager的默认值。

yarn.nodemanager.aux-services ：NodeManager上运行的附属服务

yarn.nodemanager.vmem-check-enabled：不检测虚拟机内存
另外hadoop2.x的slaves已经改为workers。在这里面指定slave机器。