优化日志监控控制数据增长和成本

Posted 2021-05-02 CloudMSP社区

         

无论是根据访问频率定价还是减少IT基础架构发送的日志量，全新的IT监视方法都使云原生可见性易于管理。

随着云原生应用程序成为主流，日志监视变得更加关键和麻烦，但是对日志管理和分布式基础架构工具的细微更改可能会带来很多好处。

对于许多企业而言，日志监视已从无足轻重的麻烦变成了对复杂的微服务应用程序和软件定义的IT基础结构进行故障排除的必需方法。这是因为开发人员必须梳理系统日志才能对应用程序代码中的细微问题进行故障排除，并且随着IT资源变得越来越短暂，高粒度日志数据会捕获有关较粗略方法无法捕获的单个系统的信息。

但是，随着应用程序从在单个服务器或高可用性对上运行的整体转移到依赖于多层虚拟计算的微服务，IT系统生成的日志数据量可能很快变得难以管理。试图保留历史日志数据以进行事件审查，法医调查或根本原因分析，这使问题更加复杂。

旧金山杂货店送货服务Good Eggs的创始工程师Bob Zoller说：“您的日志从未减少。” “我们到了一个点……我们注意到我们在[日志管理]上花了很多钱，不得不决定我们从中获得多少价值，以及这些数字是否相加。”

该公司拥有约30名工程人员，其日志容量从2015年的每天10 GB增长到2018年的每天200 GB以上，这导致日志管理和分析提供商Sumo Logic的账单约为160,000美元。 

“当时，这仅次于我们的AWS法案，” Zoller说。

该公司在2018年采取了措施，以减少存储在Sumo Logic中用于调试的数据量。相反，它将日志流式传输到一组自我管理的AWS S3存储桶，然后仅在调试需要日志时才将日志传输到Sumo Logic中。

Zoller说：“如果工程师想在Sumo Logic中进行查询，他们必须告诉聊天机器人他们关心什么应用程序和时间表。” “我们不得不放弃某些事情，例如利用我们将所有日志流式传输到Sumo的事实进行的定期搜索，但这对我们来说是个不错的选择。”

然而，在2019年末，Good Eggs参加了针对不经常访问的数据的新Sumo定价层的beta版本，其价格为完整的Sumo Logic服务每GB 2至3美元价格的十分之一。

Zoller说：“直到它消失了，你才意识到自己所拥有的。” “当我们流式传输所有登录信息时，您想当然地认为，只要您想问一个问题，一切就在您的指尖即可-在进行搜索之前考虑所需的应用程序和时间表，这会降低开发人员的工作效率。”

不频繁的访问省去了开发人员优化搜索并将正确的数据从S3加载到Sumo Logic的额外步骤。该功能仍处于测试阶段，因此Zoller尚无法将该功能的成本与现有S3系统进行比较，但他希望该功能将使他的公司能够继续以与其自身可比的成本将所有日志数据发送到Sumo Logic。托管的解决方法。

Zoller表示，随着新的日志监控系统逐渐实现全面上市，他希望Sumo Logic开发的工具能够使工程师评估查询是否值得提前运行。Sumo Logic的销售代表说，该功能将在今年晚些时候正式上市时包括在内。

HAProxy 2.0简化了日志监控，提高了可视性

DoubleVerify是一家总部位于纽约的广告验证服务提供商，三年前开始用基于软件的HAProxy系统替换F5 Networks的硬件负载平衡器，以降低设备成本。为了使软件定义的基础结构能够为公司每天数十亿的Web请求复制硬件级别的功能，我们付出了巨大的努力。

DoubleVerify的高级系统可靠性工程师Wally Barnes III说：“我们正在用基于软件的负载平衡器代替专用的网络设备，当时还没有真正做到这一点，至少在那个规模上还没有。” “大多数人将Web服务器置于HAProxy和nginx的后面–替换网络设备意味着我不得不深入了解HAProxy可以做什么，我们可以做哪些调整，一直到标题。”

将HAProxy的负载均衡器投入生产还意味着了解如何利用新近可弹性伸缩的系统池，而不是固定的一组物理设备。所有这些通常意味着查询由HAProxy系统生成的大量日志监视数据。

“每天有数十亿个请求-我们如何处理所有这些记录数据？”巴恩斯说。“这是我们必须解决的问题，我们很快发现无法为所有这些系统中的每个系统启用完全登录。没有地方放它了。”

巴恩斯回忆说，早期尝试在纽约的四个数据中心之一中收集日志监视数据，仅用15分钟就达到了公司Splunk日志分析系统的数据传输限制。

该公司采取了自己的步骤，结合了系统日志数据收集和RabbitMQ发布/订阅传输系统，将部分HAProxy实例的部分日志数据发送到Splunk。但是，2019年7月发布的HAProxy 2.0包含本机日志采样功能，可减轻该公司的日志管理负担，并提高了其自主开发方法对基于软件的负载平衡器池的可见性。DoubleVerify刚刚完成了对新版本的概念验证测试。

Barnes说：“现在，我可以将日志记录设置为'full'，并从每个系统中获取请求级别的信息，” “这使我对所发生的事情有了更全面的了解，并使开发人员对系统有了更深入的了解。”

该公司过去的零星方法有时会错过一些事件，这些事件并未对从池中收集数据的服务器造成冲击。Barnes希望通过HAProxy 2.0消除这种盲点。

他说：“我们可以看到的结果很好地说明了正在发生的事情，但是我们看不到每个请求。” “有时一个系统的通信量激增，这使我们能够接管该系统。”

原文链接：

https://searchitoperations.techtarget.com/news/252480933/Log-monitoring-refinements-control-data-growth-costs?

（加管理员微信：cloudmspcn，和企业IT管理者一起交流运维和云管理）