如何计算 Apache Apex 中运营商之间的网络延迟
Posted
技术标签:
【中文标题】如何计算 Apache Apex 中运营商之间的网络延迟【英文标题】:How to calculate network latency between operators in Apache Apex 【发布时间】:2017-02-20 12:54:57 【问题描述】:有没有一种方法,我们可以使用它来预测 Apache Apex 中两个不同运算符之间的 N/W 延迟。
在将要在操作员中使用的数据完全驻留在不同机器上的情况下;这将增加操作员的延迟。
如何计算?
【问题讨论】:
【参考方案1】:您可能想查看几篇博客文章:
https://www.datatorrent.com/blog/latency-calculation-in-apache-apex/ https://www.datatorrent.com/blog/blog-apex-performance-benchmark/
【讨论】:
【参考方案2】:假设您的元组是字符串并且集群节点上的时钟 是同步的,您可以在发送的每个元组中附加一个时间戳 操作员。然后,在接收运算符中,您可以去掉时间戳 并将其与当前时间进行比较。当然,您可以适当地调整它 其他类型的方法。如果对适当数量的元组进行平均,它应该可以为您提供一个很好的网络延迟近似值。
【讨论】:
我可以使用 Apex 提供的任何 API。我假设这是非常标准的事情,因此应该已经存在?以上是关于如何计算 Apache Apex 中运营商之间的网络延迟的主要内容,如果未能解决你的问题,请参考以下文章
如何在 Apache Apex 中使用 JSON 创建 DAG?
如何从 Apache Apex 应用程序内部获取 ApplicationID?