分享

hadoop新手感悟(不断更新)

nettman 2014-2-23 22:26:47 发表于 总结型 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 11693
本帖最后由 nettman 于 2014-2-23 22:27 编辑
这个没有标准答案,大家可以对下面问题发表个人看法
1.为什么要新建帐户和群组?
2.为什么安装JDK?
3.为什么配置SSH?
4.为什么HostName绑定ip?
5.hadoop编程本质是什么?


1.新建帐户和群组
集群的安装当然需要使用到多台电脑,我使用的是三台CentOS的虚拟机。网络上很多blog中都有提到,重新新建账户和群组,其实这个步骤是可有可无的。之所以这样干,我自己思考有两个方面的原因:一个是为了方便管理,账户专用,也更加安全; 另外一个方面,是在实际的集群安装中会有很多台的电脑需要配置环境,使用相同的账户和路径更加方便脚本批处理。



2.安装JDK
安装JDK 环境,这是因为hadoop使用Java开发。



3. 配置ssh 环境
在我最初看网络上一些文章的时候,我还是有点迷糊的。这个主要是需要了解ssh 公钥实现无密码登录的原理,之后就非常明了了。  说白一点,就是如果电脑A 需要无密码登录电脑B ,则需要在电脑A的authorized_keys中保存B的公钥信息。而如果需要多台电脑之间互相实现无码登录,则需要相互之间共享各自的公钥。

ssh环境两个需要注意的地方:一个是需要配置"/etc/ssh/sshd_config",PubkeyAuthentication yes #启用公钥私钥配对认证方式。另外一个是authorized_keys 的属性需要修改为644.



4. 配置/etc/hosts中计算机名称与IP的对应
其实这个只是为了方面在后面的配置文件中使用计算机名代替IP地址而已,便于管理,也便于修改。当然如果你不怕麻烦,所有的地方都使用IP地址也没有问题的。

5.hadoop编程本质
其实就是实现map和reduce函数,其它并行编程中的种种问题,比如分布式存储,工作调度,负载平衡等都有mapreduce框架去处理。
(来源敏小小博客使用maven构建hadoop开发环境

本帖被以下淘专辑推荐:

加微信w3aboutyun,可拉入技术爱好者群

已有(3)人评论

跳转到指定楼层
InSight 发表于 2014-10-12 14:15:24
除了使用CentOS系统,我看到好多人也使用Ubuntu系统,这是怎么一回事?
回复

使用道具 举报

kril-x 发表于 2015-12-14 16:53:54
ting bucuo de~!
回复

使用道具 举报

linian_hadoop 发表于 2015-12-31 15:03:37
新手入门是必须的。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条