hadoop搭建集群系列问题一：集群整体设计

这是搭建一个完整的hadoop集群会碰到的一系列问题，会陆续提问。请各位大神不吝指教。谢谢！

项目情况：
每天新增1千万条记录，数据库文件大约是20G左右
hadoop集群版本使用：hadoop2.2.0（ CDH5版 ）
每个节点的硬件配置：双核cpu，i3，4G内存  （ 两台namenode的配置：16G内存 ）


问题1：当前项目情况下，怎么计算hadoop的最佳节点数？所谓的最佳是指：能够以较快的速度处理这些数据，所需要的最低节点数量

问题2：计算所需节点数需要考虑的问题有哪些？计算的规则有哪些？


2013-03-19

这个跟系统有关系，就如同，你做一个oa系统，我也做了oa系统，同样是oa，数据量，使用情况都是不一样的。所以不好计算。那么该如何布置集群，你可以参考百度：
这是百度曾经的规模：
现在的规模为2W台节点以上，最大集群接近4,000节点，每日处理数据20PB+，每日作业数120,000+

按照2万台来计算的话，每日处理数据20PB+，每日作业数120,000+
你可以根据这个比例来计算一下。

所需节点数需要考虑的问题：
1.你每日的作业数是多少
2.同时你可以考虑参数调优

Hadoop作业调优参数如何调整及原理指导


hadoop作业调优参数整理及原理

Hadoop调优之调度算法详解一

可是我并不知道百度的节点硬件配置时什么样。

这样按照百度节点计算出来的比例，会出现较大的差异（例如：我的节点配置比百度的节点配置要差许多）

linshi0591 发表于 2014-3-19 11:44
可是我并不知道百度的节点硬件配置时什么样。

这样按照百度节点计算出来的比例，会出现较大的差异（例如 ...

百度的服务器大部分是价格在两到三万元左右的，标配12个1TB硬盘，32GB内存，没有RAID卡，没有采用高端的服务器。

同时你有可以参考阿里：
淘宝

总容量9.3PB, 利用率77.09%

•  总共1100台机器

•  Master：8CPU(HT)，48G内存，SAS Raid

•  Slave节点异构

– 8CPU/8CPU(HT)

– 16G/24G内存

– 1T x 12 / 2T x 6 / 1T x 6 SATA JBOD

– 12/20 slots

•  约18000道作业/天, 扫描数据：约500TB/天

•  用户数474人, 用户组38个

基于0.19.1

•  大量Patch

– 主要来自官方社区0.19.2, 0.20, 0.21等, 少部分自己开发

•  Hadoop客户端和服务端代码开发分离, 云梯管理员只负责服务端升级, 并保持版本向下兼容

以上数据是淘宝数据平台的周敏在2009年9月发布的。

但是最近关注阿里的2012年技术分享，已经看到一些数据的更新：

规模：2000 台

总数据量30PB

数据每天增长100T

每天的集成/挖掘任务数100K

每天提交的分析任务数10K

详细可看： Hadoop在百度、淘宝、Facebook使用情况

@hyj

按照2万台来计算的话，每日处理数据20PB+，每日作业数120,000+

20PB = 2万T / 2万台  =  1T

我的项目每天只需要处理20G的文件，按照百度的比例来计算，我只需要一台服务器，连机器都可以不用安装了，一台服务器就够了？

这明显不可能吧？

每日作业数120,000+  =  12万  /  2万台  =  6 个作业数 / 台

一台机器的作业数，怎么也不可能只有6个啊

linshi0591 发表于 2014-3-19 20:19
每日作业数120,000+  =  12万  /  2万台  =  6 个作业数 / 台

一台机器的作业数，怎么也不可能只有6个啊

你实验是你几个？这些数据应该是准确的，但是可能因为个人经验原因，不能准确的判断。