水槽的 Spool Dir 可以在远程机器上吗？
Posted
技术标签:
【中文标题】水槽的 Spool Dir 可以在远程机器上吗？【英文标题】：Can Spool Dir of flume be in remote machine? 【发布时间】：2014-09-24 13:22:14 【问题描述】：每当新文件到达特定文件夹时，我都会尝试将文件从远程计算机获取到我的 hdfs。我在水槽中遇到了假脱机目录的概念，如果假脱机目录与水槽代理运行的同一台机器上，它工作正常。
有什么方法可以在远程机器上配置假脱机目录吗？请帮忙。
【问题讨论】：
【参考方案1】：您可能知道 Flume 可以生成多个实例，即您可以安装多个在它们之间传递数据的 Flume 实例。
所以回答你的问题：不，flume 无法访问远程假脱机目录。但是你可以安装两个代理，一个在带有 spool 目录的机器上，一个在 hadoop 节点上。
第一个将从 spool 读取并通过 avro rpc 将其传递给第二个代理，第二个代理会将数据刷新到 HDFS。
这是一个简单的设置，只需要几行配置。
【讨论】：
嗨，你能解释一下你是如何做到这一点的 嗨，jintocvg，你能解释一下你是如何做到这一点的吗..这对我很有帮助，谢谢你以上是关于水槽的 Spool Dir 可以在远程机器上吗？的主要内容，如果未能解决你的问题，请参考以下文章