RHadoop搭建系列指导：HDFS+MapReduce及HBase搭建

一、HDFS+MapReduce搭建
*实验环境：
*********************************************************************************
hadoop集群（virtualBox虚拟机，CentOS6.4）
hadoop1 192.168.100.171（hadoop master、secondaryname、zookeeper、hbase HMaster）
hadoop2 192.168.100.172（zookeeper、hbase HRegion、Hive Shell）
hadoop3 192.168.100.173（hadoop slave、zookeeper、hbase HRegion）
hadoop4 192.168.100.174（hadoop slave、zookeeper、hbase HRegion）
hadoop5 192.168.100.175（hadoop slave、zookeeper、hbase HRegion）
dataserver 192.168.100.141（Hive metastore、MySQL Server、Oracle）
安装文档：hadoop2.2.0测试环境搭建
*********************************************************************************
本次测试在dataserver进行


1：下载RHadoop相关软件包，放置在/mnt/mydisk/R/目录下
http://www.r-project.org/
R语言包
https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads
rhdfs     R使用HDFS相关软件包
rmr    R使用MapReduce相关软件包
rhbase    R使用Hbase相关软件包




2：安装R语言[root@dataserver app]# tar zxf /mnt/mydisk/soft/R/R-3.0.2.tar.gz [root@dataserver app]# cd R-3.0.2[root@dataserver R-3.0.2]# yum install readline-devel [root@dataserver R-3.0.2]# yum install libXt-devel [root@dataserver R-3.0.2]# ./configure --enable-R-shlib [root@dataserver R-3.0.2]# make [root@dataserver R-3.0.2]# make install其中readline-devel、libXt-devel在编译R的时候需要，而--enable-R-shlib是安装R的共享库，在安装Rstudio需要。
3：确认Java环境变量RHadoop依赖于rJava包，安装rJava前确认已经配置了Java环境变量，然后进行R对jvm建立连接。[root@dataserver R-3.0.2]# cat /etc/profileexport JAVA_HOME=/usr/lib/jdk1.7.0_21export JRE_HOME=/usr/lib/jdk1.7.0_21/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib/tools.jarexport PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
[root@dataserver R-3.0.2]# R CMD javareconf
4：安装相关的依赖包，确保RHadoop软件包能正常使用[root@dataserver R-3.0.2]# R > install.packages("rJava") > install.packages("reshape2") > install.packages("Rcpp") > install.packages("iterators") > install.packages("itertools") > install.packages("digest") > install.packages("RJSONIO") > install.packages("functional") > install.packages("bitops") > quit()
5：安装RHadoop软件包[root@dataserver R-3.0.2]# export HADOOP_CMD=/app/hadoop/hadoop220/bin/hadoop[root@dataserver R-3.0.2]# export HADOOP_STREAMING=/app/hadoop/hadoop220/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jar[root@dataserver R-3.0.2]# R CMD INSTALL /mnt/mydisk/soft/R/rhdfs_1.0.8.tar.gz[root@dataserver R-3.0.2]# R CMD INSTALL /mnt/mydisk/soft/R/rmr2_2.3.0.tar.gz
**************************************************************************************************export HADOOP_CMD=/app/hadoop/hadoop220/bin/hadoopexport HADOOP_STREAMING=/app/hadoop/hadoop220/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jar加入/etc/profile或用户的.bashrc中**************************************************************************************************
6：使用RHadoop软件包[root@dataserver R-3.0.2]# R > library(rhdfs)> hdfs.init() > hdfs.ls("/")

7：安装Rstudio[root@dataserver R-3.0.2]# cd ..[root@dataserver app]# rm -rf R-3.0.2[root@dataserver app]# tar -zxf /mnt/mydisk/soft/R/rstudio-0.98.484-x86_64-fedora.tar.gz
8：TIPSA：R相关的软件包安装在/usr/local/lib64/R/library下，可以在该目录下查看是否已经安装了相应的软件包。B：如果安装的时候不是用root身份安装，则R安装的软件包会在用户目录上，其他用户将使用不了软件包。C：如果使用的hadoop集群是hadoop1.2.0,则配置参数为：export HADOOP_CMD=/app/hadoop/hadoop120/bin/hadoopexport HADOOP_STREAMING=/app/hadoop/hadoop120/contrib/streaming/hadoop-streaming-1.2.0.jarD：在安装rhbase软件需要安装thrift.

二、HBase搭建*实验环境：**************************************************************************************hadoop集群（virtualBox虚拟机，CentOS6.4）hadoop1 192.168.100.171（hadoop master、secondaryname、zookeeper、hbase HMaster）hadoop2 192.168.100.172（zookeeper、hbase HRegion、Hive Shell）hadoop3 192.168.100.173（hadoop slave、zookeeper、hbase HRegion）hadoop4 192.168.100.174（hadoop slave、zookeeper、hbase HRegion）hadoop5 192.168.100.175（hadoop slave、zookeeper、hbase HRegion）dataserver 192.168.100.141（Hive metastore、MySQL Server、Oracle）相关的安装文档：hadoop2.2.0测试环境搭建     Hbase0.96.0 +hadoop2.2.0安装     RHadoop搭建(HDFS+MapReduce) **************************************************************************************本次测试在dataserver进行
1：安装thrift0.9.1[root@dataserver app]# sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel[root@dataserver app]# tar zxf /mnt/mydisk/soft/program/thrift-0.9.1.tar.gz[root@dataserver app]# cd thrift-0.9.1[root@dataserver thrift-0.9.1]# ./configure**************************************************************************************



注意安装thrift安装上要使用Python库，如果要使用其他语言就安装上相应的语言库**************************************************************************************[root@dataserver thrift-0.9.1]# make**************************************************************************************

注意如果要编译C++库的话，会出现上面的错误，原因是编译文件路径有问题，可以将已经编译的test/cpp/*.o复制到test/cpp/.libs后，继续编译就可以了。当然不怕麻烦的话，可以修改一下编译文件。[root@dataserver thrift-0.9.1] cd test/cpp[root@dataserver cpp]# cp *.o .libs/**************************************************************************************[root@dataserver thrift-0.9.1]# make install[root@dataserver thrift-0.9.1]# thrift --version
2：安装rhase[root@dataserver /]# export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig/[root@dataserver /]# pkg-config --cflags thrift**************************************************************************************正确的返回结果是：-I/usr/local/include/thrift如果是：-I/usr/local/include则：[root@dataserver /]# vi /usr/local/lib/pkgconfig/thrift.pcCflags: -I${includedir}/thrift**************************************************************************************[root@dataserver lib]# cp /usr/local/lib/libthrift-0.9.1.so /usr/lib/[root@dataserver lib]# /sbin/ldconfig /usr/lib/libthrift-0.9.1.so**************************************************************************************注意要将动态链接库libthrift-0.9.1.so为系统所共享，不然会出现类似unable to load shared object '/usr/lib64/R/library/rhbase/libs/rhbase.so':libthrift-0.9.1.so: cannot open shared object file的错误**************************************************************************************[root@dataserver usr]# R CMD INSTALL /mnt/mydisk/soft/R/rhbase_1.2.0.tar.gz


3：启动hadoop集群、zookeeper集群、HBase集群
4：rhbase测试