HDFS上是否可以进行多个文件的合并

内容如标题所示，不知道hdfs是否可以满足这样的操作了，也谢谢各位的指导。HDFS上有三个文件，分别为1,2,3 ，是否可以直接在hdfs上进行文件合并（不需要从hdfs  拷贝到本地之后在本地处理完再上传）Hadoop版本是hadoop-2.0以上

hdfs dfs -cat /path/* | hdfs dfs -copyFromLocal - /newpath/file

pergrand 发表于 2016-9-5 10:06
hdfs dfs -cat /path/* | hdfs dfs -copyFromLocal - /newpath/file

谢谢您的回复 copy 的命令后面的“-” 不太清楚，看结果“-”是转换后的文件名但如果换成其他名称就会报错，不知道您能否解释下这个-的参数

夏洛特猫 发表于 2016-9-5 10:13
谢谢您的回复 copy 的命令后面的“-” 不太清楚，看结果“-”是转换后的文件名但如果换成其他名称就会报 ...

用这个吧，hadoop fs -cat hdfs://path/*.txt | hadoop fs -appendToFile - hdfs://newpath/hdfs.txt
appendtofile是讲多个文件合并一个

pergrand 发表于 2016-9-5 10:16
用这个吧，hadoop fs -cat hdfs://path/*.txt | hadoop fs -appendToFile - hdfs://newpath/hdfs.txt
ap ...

http://lxw1234.com/archives/2015/09/481.htm

pergrand 发表于 2016-9-5 10:16
用这个吧，hadoop fs -cat hdfs://path/*.txt | hadoop fs -appendToFile - hdfs://newpath/hdfs.txt
ap ...

谢谢您的回复 多谢