Avro RPC/Storm 集成

Posted 2023-02-16

【中文标题】Avro RPC/Storm 集成

【英文标题】：Avro RPC/Storm integration

【发布时间】：2012-08-03 15:00:27

【问题描述】：

我有一个将数据发送到 Avro RPC 服务器的现有 Avro RPC 客户端。 Avro RPC 服务器当前将数据写入 HDFS（并且还执行其他操作）。我们正在将我们的服务器进程更改为基于 Storm。我希望找到一种简单的方法将我的数据导入 Storm，希望使用我现在拥有的 Avro RPC 消息。

我一直在寻找一种方法来做到这一点，到目前为止没有成功。 Storm 有一个 RPC 模型，但它似乎仅限于传递字符串，这是我想避免的（为什么我首先去了 Avro）。 Zeromq 可能是一种可能性，但对于我想做的事情似乎有限。

有人可以为我推荐一种优雅的方式来将我的 Avro RPC（基于模式的数据）导入 Storm 吗？

谢谢！！！！

【参考方案1】：

所以...还没有找到直接执行此操作的方法...但我们提出的解决方案是一个 Storm 回调过程，它会向 Avro RPC 请求数据。所以，基本上我们切换了客户端/服务器关系。看起来效果不错。