在eclipse操作数据到HDFS

desehawk 发表于 2014-11-25 18:58
建议改成这种格式

我不是追加的文件。是直接追加从别处拿来的数据

LoveJW 发表于 2014-11-25 19:56
我不是追加的文件。是直接追加从别处拿来的数据

要学会变通，你先以文件的方式追加，看是否可以。

根本不是楼上说的那几个解决方法。上面的问题我几乎都遇到过。

需要在eclise项目中的java代码中添加
conf.setBoolean( "dfs.support.append", true );
conf.set( "dfs.client.block.write.replace-datanode-on-failure.policy" ,"NEVER" );
conf.set( "dfs.client.block.write.replace-datanode-on-failure.enable","true" );
远程机器上面的hdfs-site.xml中配置了，本地的hadoop这个配置文件中也配置了没什么用，必须得在代码中加上。亲测。

sstutu 发表于 2014-11-21 17:19
可以尝试下，不过你先贴出代码来，让我一个个敲出来，唉

通过这种方法解决了追加的问题，但有个疑问，使用 FileSystem.get( URI.create(hdfs_path), conf ) 是对HDFS上的文件进行追加，如果我用Eclipse开发，文件没有上传到HDFS，只在本地，使用 FileSystem.get( conf ) 为什么不能实现追加呢？