分享

alluxio挂载hdfs问题

evababy 2019-4-24 14:41:16 发表于 疑问解答 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 4820
alluxio monut hdfs后,用 hdfs fs -rmr xxx 删除文件后,alluxio文件仍然存在,此时访问此文件存在两种现象:
1、0%加载,报错,无法访问到HDFS文件
2、100%加载,仍然可以访问。

请问如何才能得到及时刷新呢?

已有(1)人评论

跳转到指定楼层
evababy 发表于 2019-4-24 15:24:58
找到解决问题的方法了

设置alluxio.user.file.metadata.sync.interval,系统默认-1 关闭自动刷新,另外一个参数是alluxio.user.file.metadata.load.type但是解决不了修改、删除问题。

最终官方还是建议用命令直接刷新某目录:alluxio fs ls -R -Dalluxio.user.file.metadata.sync.interval=0 /xxxx

估计是频繁的无脑刷新会造成性能问题,在官网上竟然有外国妹子在线客服!!与其联系后建议 使用 alluxio rm -R  而不是 hdfs -rmr
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条