HDFS block missing 的问题

请问一下，最近在跑m/r时经常会抛出一些block missing ，导致job failed的情况。
请问下是block真正从HDFS中丢失了么吗？还是namenode的元数据出了吗？
这种block丢失只能重新 load数据到hdfs中么吗？
谢谢

kaif22 · 发表于 2013-10-25 10:44:59

你配置的replication值是多少吗？

einhep · 发表于 2013-10-25 10:44:59

你配置的replication值是多少吗？
bigmike 发表于 2010-9-12 02:26

rep=1

leo_1989 · 发表于 2013-10-25 10:44:59

....
你不会把rep设置的大一些么，
用的是伪分布式吗？

datong838 · 发表于 2013-10-25 10:44:59

真实的分布式, rep=1 或者设大都不是,只过不可能慢一点而已
还是能跑下来的
关键是某些个map 或报block missing , 但是用fsck 查看的时候没说miss

when30 · 发表于 2013-10-25 10:44:59

真实的分布式, rep=1 或者设大都不是,只过不可能慢一点而已
还是能跑下来的
关键是某些个map 或报 ...
MooNsKY 发表于 2010-9-13 14:06

有几台机子在跑吗？

dgxl · 发表于 2013-10-25 10:44:59

10 个机器

qz2003 · 发表于 2013-10-25 10:44:59

我也老遇到block missing的，我们rep是默认的3，重启一下就没有block missing的了。

图文精华