HDFS写文件解析

我们看一下创建文件，写文件最后关闭文件的流程。如下图：

1.  client通过调用DistributedFileSystem的create方法来创建文件。
2.  DistributedFileSystem通过RPC调用NameNode在文件系统的名字空间里创建一个文件，这个时候还没有任何block信息。DistributedFileSystem返回FSDataOutputStream给client。FSDataOutputStream封装了一个DFSOutputStream来处理与datanodes和namenode之间的通讯。
3.  当client写一个block数据的时候，DFSOutputStream把数据分成很多packet。FSDataOutputStream询问namenode挑选存储这个block以及它的副本的datanode列表。这个datanode列表组成了一个管道，在上图管道由三个datanode组成（备份参数是3），这三个datanode的选择有一定的副本放置策略，详细请看下一篇。
4.  FSDataOutputStream把packet写进管道的第一个datanode，然后管道把packet转发给第二个datanode，这样一直转发到最后一个datanode。
5.  只有当管道里所有datanode都返回写入成功，这个packet才算写成功，发送应答给FSDataOutputStream。开始下一个packet。
     如果一个datanode写失败了，会产生如下步骤，但是这些对client是透明的。
     1)  管道关闭。
     2)  正常的datanode上正在写的block会有一个新ID（需要和namenode通信）。这样失败的datanode上的那个不完整的block在上报心跳的时候会被删掉。
     3)  失败的datanode会被移出管道。block中剩余的packet继续写入管道的其他两个datanode
     4)  namenode会标记这个block的副本个数少于指定值。block的副本会稍后在另一个datanode创建。
     5)  有些时候多个datanode会失败。只要dfs.replication.min(缺省是1)个datanode成功了，整个写入过程就算成功。缺少的副本会异步的恢复。
6.  当client完成了写所有block的数据后，调用FSDataOutputStream的close方法关闭文件。
7.  FSDataOutputStream通知namenode写文件结束。
本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/fiberlijun/archive/2009/11/17/4819574.aspx

本帖最后由 hadoopor 于 2009-11-20 17:25 编辑
这个图很清晰，顺便一个：
4)  namenode会标记这个block的副本个数少于指定值。block的副本会稍后在另一个datanode创建。
这个稍后是什么时候了吗？是谁来驱动这个稍后吗？

如果一个datanode写失败了。总的来说是不是先把数据写到另两个datanode，然后让namenode根据备份数不够再进行复制?