求助：用mapreduce处理数据 ，有些数据本身的原因会出异常，怎么知道是哪些数据出...

求助：写mapreduce怎么知道
求助：用mapreduce处理数据 ，有些数据本身的原因会出异常，怎么知道是哪些数据出异常了

被处理的文件一般都是有规律的。这种情况一般是测试的时候，我们手工输入产生这个问题。

如果真想知道的话，可以加上行数，然后捕获异常，输出行数

一般数据处理之前肯定会有数据的格式说明，按照格式说明，将不符合这个格式的数据直接过滤出来，可以使用log4j打印出来自己看，也可以使用多文件输出将这些统统输出到一个新的文件中

星星星星笑 发表于 2015-6-30 15:51
一般数据处理之前肯定会有数据的格式说明，按照格式说明，将不符合这个格式的数据直接过滤出来，可以使用lo ...

怎么过滤那，失效的数据就不能统计了

mapreduce 提供了enum 的计数器，通过计数器来捕捉异常的数据行。具体的实现可以看http://www.aboutyun.com/thread-13962-1-1.html

学习了 谢了