分享

Hadoop2.2、2.4防止误删机制Trash测试

问题导读:
1.如何配置hadoop回收站机制?
2.删除hadoop文件后,被删文件被放到什么位置?
3.如何恢复被删除文件?






hadoop有垃圾回收机制,这里以hadoop2.2实验了一把,回收机制基本变化不大,hadoop2.4同样适用,但是并没有测试
Hadoop回收站trash,默认是关闭的。
建议最好还是把它提前开开,否则误操作的时候,就欲哭无泪了

1.修改conf/core-site.xml,增加

  1. <property>
  2. <name>fs.trash.interval</name>
  3. <value>1440</value>
  4. <description>Number of minutes between trash checkpoints.
  5. If zero, the trash feature is disabled.
  6. </description>
  7. </property>
复制代码

默认是0.单位分钟。这里我设置的是1天(60*24)
删除数据rm后,会将数据move到当前文件夹下的.Trash目录

2.测试
1)新建目录input
  1. hadoop/bin/hadoop fs -mkdir /input
复制代码
input.png

上面记得加上斜杠/




2)上传文件
  1. aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -copyFromLocal test /input
复制代码
test.png
编辑文件内容:
tianjianneirong.png


3)删除目录input

  1. aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -rm -r /input
  2. 14/07/04 22:20:08 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 86400000 minutes, Emptier interval = 0 minutes.
  3. Moved: 'hdfs://master:8020/input' to trash at: hdfs://master:8020/user/aboutyun/.Trash/Current
复制代码


(这里使用的是hadoop2.2)



4)参看当前目录
  1. aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -ls /user/aboutyun
  2. Found 1 items
  3. drwx------   - aboutyun supergroup          0 2014-07-04 22:20 /user/aboutyun/.Trash
复制代码


发现input删除,在 /user/aboutyun/多了一个目录.Trash
trash.png


进一步查看.Trash,下面的内容:
look.png




5)恢复刚刚删除的目录
  1. aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -mv /user/aboutyun/.Trash/Current/input  /input
复制代码


6)检查恢复的数据
  1. aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -text /input/test
  2. test :
复制代码


huifuneirong.png



7)删除.Trash目录(清理垃圾)
  1. aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -rm -r /user/aboutyun/.Trash
  2. 14/07/04 22:39:14 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 86400000 minutes, Emptier interval = 0 minutes.
  3. Deleted /user/aboutyun/.Trash
复制代码
aboutyunshanchutrach.png








加微信w3aboutyun,可拉入技术爱好者群

已有(4)人评论

跳转到指定楼层
JackyCheng 发表于 2014-9-10 10:36:17
hadoop这个功能很任性化啊!
回复

使用道具 举报

JackyCheng 发表于 2014-9-10 10:49:23
本帖最后由 nettman 于 2014-9-11 14:52 编辑

2.4.0测试通过!详情见附件!

test result

test result


version

version


回复

使用道具 举报

nettman 发表于 2014-9-11 14:52:39
回复

使用道具 举报

nettman 发表于 2014-9-11 14:53:13
JackyCheng 发表于 2014-9-10 10:49
2.4.0测试通过!详情见附件!
不出意外,其它后面版本也应该适用
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条