分享

haoop伪分布搭建步骤

pig2 2013-11-12 21:38:01 发表于 安装配置 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 6156
--------------------------------------------------
1.伪分布式的安装
1.1 修改ip
  (1)打开VMWare或者VirtualBox的虚拟网卡
  (2)在VMWare或者VirtualBox设置网络连接方式为host-only
  (3)在linux中,修改ip。有上角的图标,右键,选择Edit  Connections....
   ****ip必须与windows下虚拟网卡的ip在同一个网段,网关必须是存在的。
  (4)重启网卡,执行命令service network restart
   ****报错,如no suitable adapter错误,
  (5)验证:执行命令ifconfig
1.2 关闭防火墙
  (1)执行命令service iptables stop 关闭防火墙
  (2)验证:执行命令service iptables status

1.3 关闭防火墙的自动开启
  (1)执行命令chkconfig iptables off
  (2)验证:执行命令chkconfig --list|grep iptables

1.4 修改hostname
  (1)执行命令hostname cloud4  修改会话中的hostname
  (2)验证:执行命令hostname
  (3)执行命令vi  /etc/sysconfig/network 修改文件中的hostname
  (4)验证:执行命令reboot -h now 重启机器

1.5 设置ip与hostname绑定
  (1)执行命令vi  /etc/hosts
   在文本最后增加一行192.168.80.100 cloud4
  (2)验证:ping cloud4

1.6 ssh免密码登陆
  (1)执行命令ssh-keygen -t rsa   产生秘钥位于/root/.ssh/
  (2)执行命令cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys  产生授权文件
  (3)验证:ssh localhost

1.7 安装jdk
  (1)使用winscp把jdk、hadoop复制到linux的/root/Downloads
  (2)cp  /root/Downloads/*  /usr/local
  (3)cd /usr/local
   赋予执行权限 chmod u+x  jdk-6u24-linux-i586.bin
  (4)./jdk-6u24-linux-i586.bin
  (5)重命名 mv jdk1.6.0_24  jdk
  (6)执行命令 vi /etc/profile 设置环境变量  
   增加两行 export JAVA_HOME=/usr/local/jdk
      export PATH=.:$JAVA_HOME/bin:$PATH
   保存退出
     执行命令  source  /etc/profile
   (7)验证:执行命令java -version

1.8 安装hadoop
  (1)执行命令 tar -zxvf hadoop-1.1.2.tar.gz  解压缩
  (2)执行命令  mv hadoop-1.1.2  hadoop
  (3)执行命令 vi  /etc/profile  设置环境变量
   增加一行 export HADOOP_HOME=/usr/local/hadoop
   修改一行 export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
   保存退出
     执行命令  source  /etc/profile
  (4)验证:执行命令 hadoop
  (5)修改位于conf/的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
   <1>文件hadoop-env.sh的第9行
   export JAVA_HOME=/usr/local/jdk/
   <2>文件core-site.xml
   <configuration>
    <property>
     <name>fs.default.name</name>
     <value>hdfs://cloud4:9000</value>
     <description>change your own hostname</description>
    </property>
    <property>
     <name>hadoop.tmp.dir</name>
     <value>/usr/local/hadoop/tmp</value>
    </property>  
   </configuration>
   <3>文件hdfs-site.xml
   <configuration>
    <property>
     <name>dfs.replication</name>
     <value>1</value>
    </property>
    <property>
     <name>dfs.permissions</name>
     <value>false</value>
    </property>
   </configuration>
   <4>文件mapred-site.xml
   <configuration>
    <property>
     <name>mapred.job.tracker</name>
     <value>cloud4:9001</value>
     <description>change your own hostname</description>
    </property>
   </configuration>
  (6)执行命令 hadoop namenode -format 进行格式化
  (7)执行命令 start-all.sh 启动hadoop
  (8)验证:
   <1>执行命令jps 查看java进程,发现5个进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
   <2>通过浏览器查看http://cloud4:50070http://cloud4:50030
    *****修改windows的C:/Windows/system32/drivers/etc/目录下的hosts文件

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条