立即注册 登录
About云-梭伦科技 返回首页

pig2的个人空间 https://www.aboutyun.com/?61 [收藏] [复制] [分享] [RSS]

日志

hadoop2.2 hbase0.96 hive0.12安装整合详细高可靠文档

已有 858 次阅读2014-5-28 16:21 | Linux

网上这个文档非常流行,但是感觉缺乏一些细节的指导,除非对Linux和hadoop有一定的认识。否则新手很难从这些文档中安装成功。这里重新实践了一下,hadoop2.2 ,hbase0.96,hive0.12的安装及他们的整合,这里整理一下。

1.首先hadoop2.2的安装
hadoop2.2完全分布式最新高可靠安装文档

这个文档里面包含了很多的知识:
包括ssh无密码互通,jdk的安装,以及shell脚本的编写,当然还有文档的配置。相信新手可以通过这个文档安装成功。

2.hbase 0.96整合到hadoop2.2
hbase 0.96整合到hadoop2.2三个节点全分布式安装高可靠文档

这个的整合需要注意权限及包的整合,一些临时目录,最好都建立好,而不是让系统建立,同时建立的时候不要放到系统默认文件夹,这个可能重启就会产生问题,导致缺少hmaster或则其他进程。还有个问题,有的同学安装完毕之后,hmaster或则regionserver起来之后接着宕机,是因为文件夹的权限问题,最好临时目录等都放到hbase的安装目录中。

3.hbase 0.96与hive0.12整合
hbase0.96与hive0.12整合高可靠文档及问题总结

这个的整合遇到不少问题,与其hadoop,hbase不一样的地方是它有一个客户端和服务器端,这样导致很多新手问这个问题,到底是否需要每台电脑都需要安装mysql。这个是不需要的,mysql只需要安装在服务器端就可以了。这两个整合涉及到了两个包,还是比较重要的,包括:
mysql的连接包mysql-connector-java-5.1.10-bin.jar,
还有就是hbase与hive的通信包
hive-hbase-handler-0.13.0.jar
这两个包都需要复制到hive安装目录的lib文件夹下,并且注意他们之间版本要匹配。

这里面对他们的整合做一个简单的描述和总结,更详细的内容,可以查看文档。









路过

雷人

握手

鲜花

鸡蛋

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条