1PB存储 NameNode大概需要多少内存？

hyj · 发表于 2014-6-3 19:31:34

按block数算吧

pig2 · 发表于 2014-6-3 19:32:49

数据存储跟namenode基本没有关系,或则说关系相对较弱
你可以了解一下namenode的结构

深度了解namenode---其内部关键数据结构原理简介
http://www.aboutyun.com/thread-7388-1-1.html

howtodown · 发表于 2014-6-3 19:37:45

本帖最后由 howtodown 于 2014-6-3 19:39 编辑
不考虑小文件，数据总量越多，数据块越多，namenode的内存相应要加大

nettman · 发表于 2014-6-3 19:40:39

本帖最后由 pig2 于 2014-6-10 21:05 编辑
第一，文件大小并不会决定内存占用的多少，
第二，文件的多少可能决定内存占用的多少。
如此假设上述情况是错误的话，那么，
是第三种情况，文件的多少肯定决定内存占用的多少，同时文件的大小占用内存的多少，实际则是由 hadoop 代码的算法和可调性决定的。

cooler54 · 发表于 2014-6-6 10:00:08

新手………………

pig2 · 发表于 2014-6-10 21:14:40

这个和数据级别关系不大。
比如我们的电脑，你的数据多少跟你的内存没有太大的关系，而是你当前运行程序和软件暂用内存多少，这个是关键。

所以你1pb数据，只是跟硬盘有关系，也就是他所能决定的只是你的硬盘，而决定不了你的内存。
从使用的角度来讲，hadoop是一个分布式，目的就是使用普通pc机器，能够完成大型机能够完成的事情。

如果想让集群运行良好，slave节点2个G，4个G都行，但是从运行的角度来讲，内存越大，集群的性能就越高。
公司允许的情况下，可是用买4个G的足够了。

但是对于master机器，这个要求有点高了，因为这个数据的多少和节点的多少，影响了master的使用。
所以从使用的角度来讲，你的1pb的数据，影响的不是大多数机器，而是master机器。

那么你的master该如何选择机器？
这个取决于你的节点数，和集群的性能，而且还和程序有关系。例如小文件过多，master的内存会急剧的膨胀。
建议买一个可以内存扩充的master服务器，刚开始节点不多，比如3个节点，4个节点，8个G内存应该差不多。

上面建议，可以参考