分享

hadoop中put与copyFromLocal功能上面有什么区别和联系

desehawk 2014-2-24 19:02:54 发表于 疑问解答 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 38848
hadoop中put与copyFromLocal功能上面有什么区别和联系?

已有(5)人评论

跳转到指定楼层
pig2 发表于 2014-2-24 19:58:34
它们的区别在于copyFromLocal的源路径只能是一个本地的文件。
而put的源路径可能是多个文件,也可能是标准输入,也就说put可以多个文件(批量),书写方式灵活。
当hadoop fs -put - hdfs://host:port/hadoop/hadoopfile 时表示从标准输入接收数据,这个时候目标路径必须是一个文件。


copyFromLocal
使用方法:
  1. hadoop fs -copyFromLocal <localsrc> URI
复制代码
copyFromLocal源路径是一个本地文件,也就是使用这条命令,源路径已经确定了。这里面假如:我们本地电脑有一个/temp/file,对于hdfs也有这么个文件。下面代码为:
  1. hadoop fs -copyFromLocal  /temp/file   /temp/file
复制代码
从上面可以看出,省去我们指定文件的麻烦,在hdfs中没有指定hdfs://,这是一种更省事的方法。但是面对其他我们想复制多个源路径,批量文件复制到hdfs,那么copyFromLocal就办不到了,我们需要put方法,put可以认为是一种更灵活的一种方式


---------------------------------------------------------------
put
使用方法:hadoop fs -put <localsrc> ... <dst>

从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。
  1. hadoop fs -put localfile /user/hadoop/hadoopfile
  2. hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
  3. hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
  4. hadoop fs -put - hdfs://host:port/hadoop/hadoopfile
复制代码
从标准输入中读取输入。
返回值:

成功返回0,失败返回-1。


总结:我们能够回答下面问题:
1.copyFromLocal格式是什么样子的?
2.hadoop fs -put - hdfs://host:port/hadoop/hadoopfile是什么意思?

回复

使用道具 举报

SkyGreen 发表于 2017-12-15 11:14:46
pig2 发表于 2014-2-24 19:58
它们的区别在于copyFromLocal的源路径只能是一个本地的文件。
而put的源路径可能是多个文件,也可能是标准 ...

你好,为何在hadoop 0.20.203里边的FSShell.java文件里边找不到put方法的实现呢,只能看到CopyFromLocal方法的实现,那么当时用hadoop fs -put命令时,是如何实现将文件上传到hdfs系统里边的呢
回复

使用道具 举报

pig2 发表于 2017-12-15 13:30:31
SkyGreen 发表于 2017-12-15 11:14
你好,为何在hadoop 0.20.203里边的FSShell.java文件里边找不到put方法的实现呢,只能看到CopyFromLocal ...

CopyFromLocal也是可以的。hadoop0.2这个版本太老了。建议使用新版本
回复

使用道具 举报

SkyGreen 发表于 2017-12-15 14:29:02
pig2 发表于 2017-12-15 13:30
CopyFromLocal也是可以的。hadoop0.2这个版本太老了。建议使用新版本

是的,现在刚入门,所以想从简单的版本看起。所以我比较疑惑,为啥在hadoop0.20.203版本里边也可以使用hadoop fs -put 命令实现上传文件的功能呢?但是找不到它的实现,附件里边是FSShell.java文件的压缩包,能帮忙看一下是咋回事吗

FsShell.rar

14.04 KB, 下载次数: 0

回复

使用道具 举报

jiewuzhe02 发表于 2018-2-8 09:16:37
帮忙看一下
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条