分享

CDH 中hdfs 删除文件,磁盘空间没释放

cloudcat 发表于 2016-8-30 11:47:59 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 29783
我用CDH5.X,删除目录  /usr/keyword/class/input ,删除命令如下:
sudo  -uhdfs  hadoop  fs  -rm -r  /usr/keyword/class/input  (一共5台datanode,每台服务器大概有1.1T数据)
现在hdfs中,目录已经删除了,但是磁盘空间依然没有被释放,昨天上午删除的,到下午还没删除
晚上重启CDH,重启服务器,磁盘空间还没释放

已有(3)人评论

跳转到指定楼层
desehawk 发表于 2016-8-30 12:33:03
CDH的namenode有一个文件系统垃圾间隔设置,默认设置一天,也就是说删除的文件需要一天才能被删掉。
可以通过下面参数设置
fs.trash.interval

文件也可以自己手动删掉,找到垃圾文件存放的位置,比如我的垃圾文件存放在
hadoop fs -ls /user/root/.Trash/ 这个里面,可以直接删掉也可以马上释放空间。

回复

使用道具 举报

cloudcat 发表于 2016-8-30 14:01:14
desehawk 发表于 2016-8-30 12:33
CDH的namenode有一个文件系统垃圾间隔设置,默认设置一天,也就是说删除的文件需要一天才能被删掉。
可以 ...

我们删文件之前没有root用户,所以hdfs没有目录/user/root/.Trash/
我们创建了/user/root,发现删除的文件在/user/root/.Trash下面
那么我以前没有root用户的时候,数据在哪里清除呀?
回复

使用道具 举报

desehawk 发表于 2016-8-30 14:12:59
cloudcat 发表于 2016-8-30 14:01
我们删文件之前没有root用户,所以hdfs没有目录/user/root/.Trash/
我们创建了/user/root,发现删除的 ...

到期会自动删除的,可以看看fs.trash.interval 设置有效期是多长时间
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条