hadoop及hbase的超时设置

问题导读：
1.hadoop超时，该如何设置超时时间？
2.hbase超时时间限制，该如何设置？






最近在测试mysql往HDFS备份的性能问题，发现对mysql执行xtrabackup进行限速之后经常出现HDFS写入不正常的情况。

1. 错误如下：

11/10/12 10:50:44 WARN hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_8540857362443890085_4343699470java.net.SocketTimeoutException: 66000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/172.*.*.*:14707 remote=/*.*.*.24:80010]

2. 修改超时设置

后来发现HDFS写入过程中有两个超时设置： dfs.socket.timeout和 dfs.datanode.socket.write.timeout；有些地方以为只是需要修改后面 的dfs.datanode.socket.write.timeout项就可以，其实看报错是READ_TIMEOUT。对应在hbase中的默认值如下：

// Timeouts for communicating with DataNode for streaming writes/reads

public static int READ_TIMEOUT = 60 * 1000; //其实是超过了这个值

public static int READ_TIMEOUT_EXTENSION = 3 * 1000;

public static int WRITE_TIMEOUT = 8 * 60 * 1000;

public static int WRITE_TIMEOUT_EXTENSION = 5 * 1000; //for write pipeline
复制代码

3. 修改配置文件

所以找出来是超时导致的，所以在hadoop-site.xml配置文件中添加如下配置：

<property>
<name>dfs.datanode.socket.write.timeout</name>
<value>3000000</value>
</property>
复制代码

<property>
<name>dfs.socket.timeout</name>
<value>3000000</value>
</property>
</configuration>
复制代码