如何计算 Apache Apex 中运营商之间的网络延迟

Posted

技术标签:

【中文标题】如何计算 Apache Apex 中运营商之间的网络延迟【英文标题】:How to calculate network latency between operators in Apache Apex 【发布时间】:2017-02-20 12:54:57 【问题描述】:

有没有一种方法,我们可以使用它来预测 Apache Apex 中两个不同运算符之间的 N/W 延迟。

在将要在操作员中使用的数据完全驻留在不同机器上的情况下;这将增加操作员的延迟。

如何计算?

【问题讨论】:

【参考方案1】:

您可能想查看几篇博客文章:

https://www.datatorrent.com/blog/latency-calculation-in-apache-apex/ https://www.datatorrent.com/blog/blog-apex-performance-benchmark/

【讨论】:

【参考方案2】:

假设您的元组是字符串并且集群节点上的时钟 是同步的,您可以在发送的每个元组中附加一个时间戳 操作员。然后,在接收运算符中,您可以去掉时间戳 并将其与当前时间进行比较。当然,您可以适当地调整它 其他类型的方法。如果对适当数量的元组进行平均,它应该可以为您提供一个很好的网络延迟近似值。

【讨论】:

我可以使用 Apex 提供的任何 API。我假设这是非常标准的事情,因此应该已经存在?

以上是关于如何计算 Apache Apex 中运营商之间的网络延迟的主要内容,如果未能解决你的问题,请参考以下文章

Apache Apex 与 Apache Flink

如何在 Apache Apex 中使用 JSON 创建 DAG?

如何从 Apache Apex 应用程序内部获取 ApplicationID?

如何使用 Apache Apex 对 Kafka 0.9 运算符进行单元测试?

如何重新启动 Apache Apex 应用程序?

如何将参数传递给 Apache Apex 中的 application.java 类?