Alluxio - 访问 underfs 中的现有文件
Posted
技术标签:
【中文标题】Alluxio - 访问 underfs 中的现有文件【英文标题】:Alluxio - access existing files in underfs 【发布时间】:2018-01-25 16:47:29 【问题描述】:我正在运行一个使用 Swift 作为 underfs 的小型 Alluxio (1.7.0) 集群。
我已经确认 Alluxio 可以很好地写入和读取文件并将它们持久化到 Swift 存储中。
我想通过 Alluxio 访问 Swift 存储中的文件,这些文件是从单独的客户端保存的,但是由于 Alluxio 主控中没有元数据,这些新文件是不可见的。我知道这是预期的功能,但我想问是否有任何配置选项或解决方法可以使 underfs 中的新文件在 Alluxio 中可见?
【问题讨论】:
【参考方案1】:你可以通过强制 Alluxio 加载 UFS 元数据来让 Alluxio 知道新的 UFS 文件。这可以通过ls -f
命令完成。 -f
选项强制从 UFS 加载,以发现 UFS 文件。 ls documentation 有关于该命令的更多详细信息。例如:
bin/alluxio fs ls -f /mnt/swift/dir/
将在 /mnt/swift/dir/
目录中发现新的 UFS 文件。
【讨论】:
太棒了——是的,它在友好的手册中。了解新的命令行。以上是关于Alluxio - 访问 underfs 中的现有文件的主要内容,如果未能解决你的问题,请参考以下文章