分享

hadoop-2.2 + nutch-1.7报错贴上,请大神点拨

看了这个帖子,跟着他的帖子搭建了一个集群。http://www.aboutyun.com/forum.php?mod=viewthread&tid=12605

运行[mw_shl_code=shell,true]hadoop jar ./runtime/deploy/apache-nutch-1.7.job org.apache.nutch.crawl.Crawl urls -dir TestCrawl -depth 2[/mw_shl_code]
后报错如下:

[mw_shl_code=shell,true]16/06/02 02:11:00 INFO client.RMProxy: Connecting to ResourceManager at CentOS641/192.168.159.120:8032
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: file:/home/root/tmp/mapred/temp/inject-temp-2069906004, expected: hdfs://CentOS641:8020
        at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:642)
        at org.apache.hadoop.hdfs.DistributedFileSystem.getPathName(DistributedFileSystem.java:181)
        at org.apache.hadoop.hdfs.DistributedFileSystem.access$000(DistributedFileSystem.java:92)
        at org.apache.hadoop.hdfs.DistributedFileSystem$11.doCall(DistributedFileSystem.java:585)
        at org.apache.hadoop.hdfs.DistributedFileSystem$11.doCall(DistributedFileSystem.java:581)
        at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
        at org.apache.hadoop.hdfs.DistributedFileSystem.delete(DistributedFileSystem.java:581)
        at org.apache.nutch.crawl.Injector.inject(Injector.java:301)
        at org.apache.nutch.crawl.Crawl.run(Crawl.java:132)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.nutch.crawl.Crawl.main(Crawl.java:55)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:212)[/mw_shl_code]


附上图版错误:

报错截图

报错截图


请解答,感激不尽!!!

已有(8)人评论

跳转到指定楼层
starrycheng 发表于 2016-6-2 18:13:27
Wrong FS: file:/home/root/tmp/mapred/temp/inject-temp-2069906004
这是本地文件路径,并非hdfs路径
回复

使用道具 举报

Jeelon 发表于 2016-6-2 18:23:03
starrycheng 发表于 2016-6-2 18:13
Wrong FS: file:/home/root/tmp/mapred/temp/inject-temp-2069906004
这是本地文件路径,并非hdfs路径

这个路径并非我输入的,我只执行
[mw_shl_code=shell,true]hadoop jar ./runtime/deploy/apache-nutch-1.7.job org.apache.nutch.crawl.Crawl urls -dir TestCrawl -depth 2
[/mw_shl_code]
这一句。
回复

使用道具 举报

starrycheng 发表于 2016-6-2 18:41:39
Jeelon 发表于 2016-6-2 18:23
这个路径并非我输入的,我只执行
[mw_shl_code=shell,true]hadoop jar ./runtime/deploy/apache-nutch-1 ...

说明生成job或则配置文件有问题了
回复

使用道具 举报

xw2016 发表于 2016-6-2 20:58:12
配置怎么样的、
回复

使用道具 举报

Jeelon 发表于 2016-6-3 09:37:42
xw2016 发表于 2016-6-2 20:58
配置怎么样的、

完全跟着这个配置的:
http://www.aboutyun.com/forum.php?mod=viewthread&tid=12605

请问知道什么原因吗?麻烦告知,谢谢了!
回复

使用道具 举报

Jeelon 发表于 2016-6-3 09:38:29
starrycheng 发表于 2016-6-2 18:41
说明生成job或则配置文件有问题了

完全跟着这个配置的:
http://www.aboutyun.com/forum.php?mod=viewthread&tid=12605

请问知道什么原因吗?麻烦看看,谢谢了!
回复

使用道具 举报

BrokenColor 发表于 2016-6-3 20:07:08
我也遇到过同样的问题,是hdfs://localhadoop:9000/-->中的端口号没有些,其中9000是自己配置的端口号
回复

使用道具 举报

Jeelon 发表于 2016-6-28 15:00:44
怎么解决 请详细说下 哥们,谢谢了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条