关于分布式文件系统抽象块好处的疑问

重读《hadoop权威指南》，一直对书中提到的分布式文件系统抽象块的好处有疑问。
书中提到三个好处：1、一个文件的大小可以大于网络中任意一个磁盘的容量，文件的所有块并不需要存储在一个磁盘上，因此可以利用集群上任意一个磁盘进行存储。2、简化了存储子系统的管理，基于两点:块大小固定，计算单个磁盘存储多少个块容易；元数据管理分离。3、非常适用于数据备份进而提供数据容错能力和可用性。

关于第一点，没什么问题，对于大文件，可以通过划分块，存储在不同的集群节点上，实现分布存储。
第二点：这点感觉不太充分，仅仅通过块的固定大小和元数据管理分离来说明，应该还有其他的管理好处的，我猜。
第三点：我想问怎么适合数据备份了？

Joker · 发表于 2015-1-24 10:27:02

muyannian 发表于 2015-1-23 18:42
咱们说的这个备份时数据冗余的备份。不会备份到其它hadoop系统中

备份的话两份备份数据放在同一个rack中，一份数据放在另外一个rack中
这样当同一个机柜备份数据获取不到就去其它rack获取
可以看下“机架感知”

lf61nol · 发表于 2015-1-23 15:02:47

坐等高手来解决

langke93 · 发表于 2015-1-23 15:30:19

2.元数据存储在namenode中，可以通过namenode定位数据存储，
3.hadoop默认备份3份，比如多台机器，一个机器磁盘坏了，数据照样能访问，而且hadoop发现备份少了，会自动补全。如果自己电脑磁盘坏掉了，就挂掉了。

pengsuyun · 发表于 2015-1-23 15:44:16

langke93 发表于 2015-1-23 15:30
2.元数据存储在namenode中，可以通过namenode定位数据存储，
3.hadoop默认备份3份，比如多台机器，一个机 ...

关于你提到的第二点，我个人理解这不是抽象块所带来的好处

第三点，你说的是hadoop的机制，但是跟数据块适合备份方面应该没有太大的关系，

我更想从原理上来探讨，抽象块怎么就适合备份了。

muyannian · 发表于 2015-1-23 16:44:11

pengsuyun 发表于 2015-1-23 15:44
关于你提到的第二点，我个人理解这不是抽象块所带来的好处

第三点，你说的是hadoop的机制，但是跟数据 ...

个人观点，欢迎拍砖指教
抽象块计算确实快的，只需要统计多少个块，就能计算容量有多大，如果按照传统的方式还是比较复杂的，例如下面

WAV格式文件所占容量(KB) = (取样频率 X 量化位数 X 声道) X 时间 / 8 (字节 = 8bit)

所以个人认为这是抽象为块的好处。

抽象块组成了文件，一个文件的组成散列在各个机器上，如果都存在一个机器上风险大。跟不要把鸡蛋都放到一个篮子里有些类似。