Hadoop-2.5.2安装详解

1.安装VMWare和linux操作系统
2.修改本机域名
/etc/hosts
添加ip 域名（192.168.163.111 node1）
需要重启才能有效果 reboot
2.修改Linux的静态IP
ifconfig:查看linux的ip信息
vi /etc/sysconfig/network-scripts/ifcfg-eth0  -- 查看并修改IP信息
注意：
文件ifcfg-eth0 中的 “HWADDR ” 必须和第一个网卡启动信息中的ATTR{address}值相同
vi /etc/udev/rules.d/70-persistent-net.rules
文件ifcfg-eth0中的全部内容如下：
DEVICE=eth0
BOOTPROTO=none
HWADDR=00:0c:29:1c:4c:30
IPV6INIT=yes
NM_CONTROLLED=yes
ONBOOT=yes
TYPE=Ethernet
UUID="8b01cb74-c189-4f3e-9f82-c3e779619685"
USERCTL=no
IPADDR=192.168.163.111
NETMASK=255.255.255.0
GATEWAY=192.168.163.1
修改完之后重启：service network restart ，IP修改完成
3.安装JDK
jdk版本必须为1.7及以上版本
详细安装过程：http://www.cnblogs.com/candle806/archive/2011/01/14/1935573.html
export JAVA_HOME=/usr/local/development/jdk1.7.0_04
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

修改安装包的权限chmod 777 XXX，然后./执行 .bin文件即可
最后要配置环境变量：vi /etc/profile
执行命令：source /etc/profile，配置生效
测试jdk是否安装成功：java -version
4.ssh免密码登录
执行命令：cd /etc/ssh/，进入ssh，
生成公钥密钥对：ssh-keygen -t rsa
私钥文件：id_raa  公钥文件：id_rsa.pub
将公钥文件id_rsa.pub内容放到authorized_keys文件中：cat id_rsa.pub >> authorized_keys
将公钥文件authorized_keys分发到各dataNode节点：scp authorized_keys  root@192.168.163.112:/root/.ssh/
验证ssh无密码登录：ssh root@192.168.163.112
想要需要域名访问，必须全部声明
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1       localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.163.111 node1
192.168.163.112 node2
192.168.163.113 node3
192.168.163.114 node4

5.开始安装Hadoop-2.5.2

5.停止防火墙　　service iptables stop
sudo ufw disable
启动防火墙　　service iptables start
查看防火墙配置 iptables -L -n
5.文件拷贝命令
scp ./* root@192.168.163.113:/home/hadoop-1.2/conf
将当前目录下的所有文件拷贝到服务器113 上的/home/hadoop-1.2/conf目录下
6.通过ssh远程链接
ssh root@192.168.163.112
7.格式化hadoop
进入bin目录下执行命令： ./hadoop namenode -format

8.hadoop环境配置
HADOOP_INSTALL=/data/software/hadoop/hadoop-1.2.1/

JAVA_HOME=/data/software/java/jdk1.7.0_40

PATH=$JAVA_HOME/bin:$HADOOP_INSTALL/bin:$PATH

CLASSPATH=$JAVA_HOME/lib

export JAVA_HOME PATH CLASSPATH HADOOP_INSTALL

1.配置文件的编辑……
2.准备ZooKeeper
三台zookeeper
编辑zoo.cfg配置文件
在dataDir目录中创建一个myid文件
3.配置Hadoop中的slaves
4.启动三个zookeeper：(根目录下启动)zkServer.sh start
5.启动三个JournalNode:(sbin)./hadoop-daemon.sh start journalnode
6.在其中一个namenode上格式化：(bin) ./hdfs namenode -format
7.将刚刚格式化之后的元数据拷贝到另外一个namenode上
启动第一个namenode  (sbin) ./hadoop-daemon.sh start namenode
在没有格式化的namenode上执行：(bin) ./hdfs namenode -bootstrapStandby
启动第二个namenode
8.在其中一个namenode上初始化 zkfc：(bin) ./hdfs zkfc -formatZK
9.停止上面的节点： stop-dfs.sh
10.全面启动： start-dfs.sh
11.hadoop上运行jar程序： (根目录下)hadoop jar jar包名主类名
                  例子： hadoop jar hot.jar com.xmh.RunJob
12.hive无法创建文件夹：
解决方法，关闭hadoop安全模式：hadoop dfsadmin -safemode leave