hadoop工作日志-安装，挂载HDFS

问题导读
1、Hadoop三台机器之间如何建立互信连接 ？
2、启动了的Hadoop，怎样测试？
3、如何卸载、挂载HDFS？



首先是操作系统以及所使用的软件的版本
操作系统：CentOS 5.5 （32位）
hadoop版本：hadoop-0.20.2.tar.gz
jdk版本：jdk-6u20-linux-i586.bin
fuse版本：fuse-2.8.1.tar.gz
ant版本：apache-ant-1.7.0-bin.tar.gz

两台32位的服务器：hadoop1(192.168.0.3)，hadoop2(192.168.0.2)，hadoop3(192.168.0.5)，hadoop1是master,hadoop2,hadoop3是slave，并在hadoop2,hadoop3之上挂载HDFS文件系统。

一：操作系统安装
1.网卡选择启动时激活
2.选择Desktop-Gnome ,Desktop-KDE,Server
3.定制软件包：桌面环境，应用程序，开发，服务器，基本系统，这些全选

二：hadoop安装：
1.首先修改三台机器的/etc/hosts文件。将倒数两行注释掉(#127.0.0.1······以及#::······)。然后在文件的末尾添加：
192.168.0.3    hadoop1

192.168.0.2    hadoop2

192.168.0.4    hadoop3

2.建立节点之间按的无密码连接：
（1）在hadoop1上：

   #cd /root
   #ssh-keygen -t rsa  一路回车即可
   #ls -a   查看是否有.ssh文件夹
   #cd .ssh  进入.ssh目录 
   #cp id_rsa.pub authorized_keys  生成authorized_keys文件
   #cd .. 退出到root目录
   建立本身的信任连接 #ssh hadoop1    按提示输入yes（三个字母要打全）
复制代码

  （2）在hadoop2和hadoop3之上

#cd /root    
#ssh-keygen -t rsa     生成.ssh文件夹
#scp root@hadoop1:/root/.ssh/* .ssh/   拷贝hadoop1上的.ssh文件夹覆盖本地的
复制代码

   （3）在三台机器之上运行：

    #ssh hadoop1
    #ssh hadoop2
    #ssh hadoop3
复制代码

   这样就建立了三台机器之间的互信连接

3. 安装JDK（在hadoop1,hadoop2,hadoop3三之上执行，安装位置要一致）:

     #cd /root/Desktop/hadoop_file/  （此目录中存放hadoop,ant,jdk）
     #cp  jdk-6u20-linux-i586.bin /usr/local
     #cd /usr/local
     #chmod a+x jdk-6u20-linux-i586.bin
     #/jdk-6u20-linux-i586.bin
     然后修改/etc/profile文件，在文件的最末尾添加：
     export JAVA_HOME=/usr/local/jdk1.6.0_20
     export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin  
     export   CLASSPATH=.:/usr/local/jdk1.6.0_20/lib:/usr/local/jdk1.6.0_20/jre/lib:$CLASSPATH
    source /etc/profile
复制代码

4.安装hadoop（在hadoop1,hadoop2,hadoop3上执行，hadoop的安装位置要一致）:

   #cd  /root/Desktop/hadoop_file/hadoop-0.20.2（hadoop压缩文件就在此目录，我就将它安装在此目录）
   #tar -xzvf hadoop-0.20.2.tar.gz
   #cd /root/Desktop/hadoop_file/hadoop-0.20.2/conf
   在hadoop-env文件中
   #export JAVA_HOME=/usr/local/jdk1.6.0_20
复制代码

   #vi core-site.xml 添加：

 <property>
     <name>fs.default.name</name>
     <value>hdfs://hadoop1:9000</value>
   </property>
 
复制代码

  #vi hdfs-site.xml  添加：

   <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>

     <property>
       <name>hadoop.tmp.dir</name>
       <value>/tmp/hadoop/hadoop-${user.name}</value>
     </property>
复制代码

  #vi mapred-sit.xml 添加：

 <property>
        <name>mapred.job.tracker</name>
        <value>hadoop1:9001</value>
    </property>
复制代码

   #vi  masters 修改为：

  hadoop1
复制代码

   #vi  slaves 修改为：

       hadoop2
       hadoop3
复制代码

    到此，hadoop的安装就完成了。

5.启动hadoop:

    #service iptables stop （在hadoop1,hadoop2,hadoop3中都要执行）
    #cd /root/Desktop/hadoop_file/hadoop-0.20.2/bin
    #./hadoop namenode -format
    #./start-all.sh
复制代码

     这样就将hadoop启动起来了，接下来测试一下：

#./hadoop dfs -copyFromLocal  /root/hadooptest test-in
    #./hadoop dfs -ls test-in
复制代码

三： HDFS的挂载：
     曾今花了很长时间试图用hdfs-fuse来挂载HDFS发现很困难，没有成功，于是不得已，查看了些资料进行挂载，并成功了。
1.   首先安装fuse-2.8.1.tar.gz ：

         #tar -xzvf  fuse-2.8.1.tar.gz  -C /opt
         #cd /opt/fuse-2.8.1
         #./configure --prefix=/usr 
         #make 
         #make install 
         #modprobe fuse
复制代码

        #vi /etc/sysconfig/modules/my.modules 内容为：

         #!/bin/sh 
          modprobe fuse >/dev/null 2>&1 
         #chmod +x /etc/sysconfig/modules/my.modules
复制代码

2. 然后安装ant

          #cd /root/Desktop/hadoop_file
复制代码

3. 原来咱们是把hadoop安装在/root/Desktop/hadoop_file/hadoop-0.20.2，现在为了生成fuse-dfs，并且不影响咱们的已经安装好的hadoop，咱们把整个hadoop-0.20.2，拷贝到/root/Desktop，然后在/root/Desktop/hadoop-0.20.2目录下工作，一定要保持机器与外网联通。

4.修改/etc/profile，添加或修改:

  export HADOOP_HOME=/root/Desktop/hadoop-0.20.2（移动之后的工作目录 )
    export OS_ARCH=i386 
    export OS_BIT=32
    export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:${HADOOP_HOME}/c++/Linux-$OS_ARCH-        $OS_BIT/lib:/usr/local/lib:/usr/
lib
复制代码

5.生成fuse-dfs

   #cd $HADOOP_HOME/ 
   #ant compile-c++-libhdfs -Dlibhdfs=1 -Dcompile.c++=1 (保证机器与外网相通)
   #ln -s c++/Linux-$OS_ARCH-$OS_BIT/lib build/libhdfs
   #ant compile-contrib -Dlibhdfs=1 -Dfusedfs=1
   #cd /root/Desktop/hadoop-0.20.2/build/contrib/fuse-dfs
复制代码

    #vi fuse_dfs_wrapper.sh,修改内容为:

export OS_BIT=32
if [ "$HADOOP_HOME" = "" ]; then
export HADOOP_HOME=/root/Desktop/hadoop-0.20.2
fi
export PATH=$HADOOP_HOME/build/contrib/fuse_dfs:$PATH
for f in ls $HADOOP_HOME/lib/*.jar $HADOOP_HOME/*.jar ; do
export  CLASSPATH=$CLASSPATH:$f
done
if [ "$OS_ARCH" = "" ]; then
export OS_ARCH=i386
fi
if [ "$JAVA_HOME" = "" ]; then
export  JAVA_HOME=/usr/local/jdk1.6.0_20
fi
if [ "$LD_LIBRARY_PATH" = "" ]; then
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:/root/Desktop/hadoop-0.20.2/c++/Linux-i386-32/lib:/usr
/local/lib 
fi 
#./fuse_dfs $@
fuse_dfs $@ 

   #chmod +x   /root/Desktop/hadoop-0.20.2/build/contrib/fuse-dfs/fuse_dfs_wrapper.sh 
   #chmod +x   /root/Desktop/hadoop-0.20.2/build/contrib/fuse-dfs/fuse_dfs
   #ln -s  /root/Desktop/hadoop-0.20.2/build/contrib/fuse-dfs/fuse_dfs_wrapper.sh /usr/local/bin 
   #ln -s  /root/Desktop/hadoop-0.20.2/build/contrib/fuse-dfs/fuse_dfs /usr/local/bin 
   #mkdir /mnt/dfs
   #/usr/sbin/setenforce 0 暂时停用防火墙
   #fuse_dfs_wrapper.sh dfs://hadoop1:9000 /mnt/dfs  由此就成功挂载HDFS
   #umount /mnt/dfs 便卸载了HDFS
复制代码