分享

请问一个Eclipse下研发 MapReduce的难题

bob007 发表于 2013-10-26 15:09:49 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 5291
我配好了Eclipse插件,并且写好了例子,但是每次"Run as -> Run on Hadoop",就出现下面的错误提示:
[ol]
  • 12/09/20 22:35:30 INFO input.FileInputFormat: Total input paths to process : 1
  • 12/09/20 22:35:30 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  • 12/09/20 22:35:30 WARN snappy.LoadSnappy: Snappy native library not loaded
  • 12/09/20 22:35:31 INFO mapred.JobClient: Running job: job_201209201013_0006
  • 12/09/20 22:35:32 INFO mapred.JobClient:  map 0% reduce 0%
  • 12/09/20 22:35:51 INFO mapred.JobClient: Task Id : attempt_201209201013_0006_m_000000_0, Status : FAILED
  • java.io.FileNotFoundException: File file:/D:/Taven/workspace/mapreducetest/fileinput/test does not exist.
  •         at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:397)
  •         at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:251)
  •         at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.(ChecksumFileSystem.java:125)
  •         at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:283)
  •         at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:427)
  •         at org.apache.hadoop.mapreduce.lib.input.LineRecordReader.initialize(LineRecordReader.java:67)
  •         at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:522)
  •         at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:763)
  •         at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
  •         at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
  •         at java.security.AccessController.doPrivileged(Native Method)
  •         at javax.security.auth.Subject.doAs(Subject.java:396)
  •         at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
  •         at org.apache.hadoop.mapred.Child.main(Child.java:249)[/ol]复制代码
    老是说我的文件不存在,但是实际上这个文件是存在的,不知道那个能帮下我啊,万分感激。
    需要说明的是,这个打包成jar,在服务器上可以跑。
  • 已有(1)人评论

    跳转到指定楼层
    louisthy 发表于 2013-10-26 15:09:49
    你配置的应该是伪分布式的吧,你试试把文件上传到hdfs上面去,然后运用hdfs://localhost:9000/user/username... 作为路径重新试下。
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    关闭

    推荐上一条 /2 下一条