MapReduce中使用HTMLunit实现爬虫出现java.lang.NoSuchFieldError: INSTANCE

查看数: 16202 | 评论数: 8 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2015-9-2 17:43

//主要功能是从hbase中读一条URL执行，很简单的代码： public static class CrawlReducer extends TableReducer<Text, IntWritable, Null ...

阿斯兰的 发表于 2015-9-5 19:38:32

阿斯兰的 发表于 2015-9-3 20:05:32

langke93 发表于 2015-9-2 21:11
是不是引用第三方包了，如果引用了，要在集群上都放上

我是maven打包的jar，直接运行的。

langke93 发表于 2015-9-2 21:11:55

阿斯兰的发表于 2015-9-2 18:57
我打印过了，直接用链接执行都不行，HTMLunit代码放在reduce就不行

是不是引用第三方包了，如果引用了，要在集群上都放上

阿斯兰的 发表于 2015-9-2 18:57:46

jixianqiuxue 发表于 2015-9-2 18:04
程序可能没有错的，而是被处理的文件字段与提取的字段没有对应上

我打印过了，直接用链接执行都不行，HTMLunit代码放在reduce就不行

阿斯兰的 发表于 2015-9-2 18:56:04

人呢，快来人快来人快来人快来人快来人快来人快来人快来人快来人

阿斯兰的 发表于 2015-9-2 18:33:22

jixianqiuxue 发表于 2015-9-2 18:04
程序可能没有错的，而是被处理的文件字段与提取的字段没有对应上

我有打印key.toString()看过是对的啊，而且我直接用链接测试page = webClient.getPage(“http://www.dianping.com”);这样也不行啊。reduce方法有没有什么限制？

jixianqiuxue 发表于 2015-9-2 18:04:04

程序可能没有错的，而是被处理的文件字段与提取的字段没有对应上

阿斯兰的 发表于 2015-9-2 17:44:07

顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶

图文精华