大数据应用洞察

Posted 2023-02-23

【中文标题】大数据应用洞察

【英文标题】：Application Insights with big data

【发布时间】：2020-09-22 17:12:01

【问题描述】：

我希望在我的 spark 集群上使用 jvm-profiler (https://github.com/uber-common/jvm-profiler) 并将其与我的应用程序日志相关联。在一个大型集群（大约 1000 个执行程序）上，这将产生大量数据。我尝试将其转储到运行良好的 influxDb 中。但是，然后我必须管理 influxDb。我的堆栈都在 Azure 中，我们使用 Application Insights。

应用程序洞察能否处理这种负载，或者是否有更好的 Azure 替代方案。然后我的计划是使用 Power BI 围绕这些数据创建仪表板。

当前的替代方法是使用带有 Chronograf 的 influxDb 来可视化数据。

【问题讨论】：

对于时间序列存储还有Azure Time Series Insights

【参考方案1】：

App Insights will ingest 每秒最多 32,ooo 事件。默认数据上限为每天 100 GB，但您可以自行将其增加到 1,000 GB，或向支持人员请求更高的上限。

Making use of sampling 将减少总量和您的账单 - 您可以控制如何完成，因此您只在您想要的地方采样数据。通常，累积指标是单独发送的，因此请求计数等内容不会受到采样的影响。