Elastic Agent 和 Fleet 可以更轻松地将你的系统与 Elastic 集成

Posted 2021-10-22 中国社区官方博客

今天，我们很高兴地宣布三项重大改进，它们将使你的系统和应用程序与 Elastic Stack 的集成变得更加容易。首先，我们将推出 Elastic Agent 的通用 (GA) 版本，这是一个兼具可观察性和安全性的单一统一代理。统一代理将通过更少的配置和安装来简化数据载入。

其次，我们将发布 Fleet 的 正式版本，这是一款新的 Kibana 应用程序，可让你集中管理整个 Elastic Agent 队列。它充当控制平面，让你实时查看代理状态、远程升级代理、在每个主机上执行查询并遏制安全威胁。

第三，我们将在 Kibana 中推出我们的新集成应用程序以及我们的第一组 GA 集成。只需单击一下，你就可以将你的系统和应用程序与 Elastic Stack 集成。集成提供开箱即用的日志解析、仪表板、机器学习作业等。你可以通过 Fleet 在 Elastic Agents 上部署集成，让你在几秒钟内从数据变为洞察力。

大规模摄入数据的挑战

采用监控或安全解决方案时的一个关键挑战是部署代理和大规模管理它们所需的时间。这会延迟关键业务目标并增加你的总拥有成本。大型组织可能拥有数百个团队和数十万台服务器、笔记本电脑和应用程序。评估、定制、运营和安全合规审批，然后跨多个团队和环境进行部署可能需要数月时间。监控或安全基础设施中的任何问题都可能对业务产生巨大而关键的影响。

Beats 是我们现有的用于将数据传送到 Elastic Stack 的解决方案，与 syslog 等通用解决方案相比，它们使许多事情变得更容易。但是，除了 APM 代理、APM 服务器、端点安全等之外，我们目前共有 7 个 Beats。安装这么多二进制文件很复杂，尤其是在每个二进制文件都涉及通过配置管理解决方案、渐进式部署、变更管理和审计要求进行安装的企业环境中。

另一个挑战是为新数据源添加集成的过程。今天，用户必须编辑 YAML 文件并将它们上传到他们的所有服务器。他们经常使用 Ansible 或 Chef 等工具来推出配置。不幸的是，这使得添加新数据源成为一个复杂的过程，通常需要第三方工具并与跨团队的专家进行协调。在处理分布在多个网络和数据中心的数十万个代理时，这更加复杂。

一个代理完成所有的

Elastic Agent 是一个单一、统一的代理，用于日志、指标、APM 跟踪、合成和保护你的系统。入门就像运行一个命令来安装代理一样简单。你不再需要部署多个 Beats。这样可以更快地在你的基础架构中进行部署并随着时间的推移进行维护。此外，Elastic Agent 具有通过单一管理平台管理的单一统一配置。因此，无需为 Filebeat、Metricbeat 等编辑多个配置文件。这将使添加集成变得更加容易。你可以通过 Fleet 更新配置，从而快速启用集成、摄入数据和自定义代理的行为。

更轻松的集成和配置

新的集成应用程序在 Kibana 中提供了一个基于 Web 的 UI，用于添加和管理流行服务和平台的集成。我们的集成不仅提供了一种添加新数据源的简单方法，而且还提供了开箱即用的资源，如仪表板、可视化和管道，以从日志中提取结构化字段。你无需花费大量精力配置系统，因为它会自动为你完成。这使得在几秒钟内更容易设置和获得洞察力。

我们新的正式发布版集成允许你监控系统基础架构，包括服务器、笔记本电脑、容器、VM 等。你还可以保护你的系统免受安全威胁并分析安全事件。有超过 70 种可用的集成，我们正在不断努力添加更多。

我们还提供基于 Web 的 UI 来为你的系统和应用程序配置集成。 Web UI 更简洁并提供指导和验证，而不是编辑具有许多不相关设置的长 YAML 文件。 已为常见日志和指标位置提供了默认值，因此你只需单击 “保存” 即可通过单击部署集成。

你可以选择将此 nginx 集成添加到单个代理或一组代理作为策略的一部分。 代理策略可让你对任意数量的代理应用相同的集成，从而更轻松地大规模管理多个代理。 代理将在下次签入舰队时收到更新。

高级用户有时更喜欢 YAML 文件、API 和基础设施即代码 (IaaC)。 Fleet 采用 API 优先设计，你可以在 UI 中执行的任何操作也可以使用 API 执行。 这允许你与其他系统集成。 如果你不想使用 Fleet，你还可以在独立模式下使用 YAML 文件配置 Elastic Agent。

集中管理你的 Fleet

Fleet 用作控制层，允许你集中管理大量代理。 你可以在 Fleet 页面上查看所有代理的状态。 在这里你可以看到哪些代理在线且健康，哪些不健康，以及他们上次签入的时间。你还可以查看代理二进制文件和代理策略的版本。

你可以使用代理策略定义代理组。当你更改代理策略时，所有代理都会在下次签入时收到更新。你不再需要使用 SSH、Ansible playbook 或其他配置方法自行分发更新。

Fleet 的另一个优势是我们可以更好地保护代理。它会自动为每个代理生成 Elasticsearch API 密钥，对正在运行的集成具有最低权限。 API 密钥可以在每个代理的基础上撤销，你不再需要在每个主机上存储具有广泛权限的共享凭证。此外，当你使用 Endpoint Security 运行 Elastic Agent 时，该代理可以保护自己免受主机上运行的威胁。

Fleet Server 是管理与 Elastic Agents 通信的基础设施组件。它提供了更新代理的控制层，并指示它们执行诸如跨主机运行 OSQuery 或在网络层隔离主机以遏制安全威胁等操作。它可以集中部署，也可以部署在专用网络的边缘。

数据流使数据管理更容易

Elastic Agents 收集的数据使用新的数据流命名方案进行存储。 它以比 Beats 更细粒度的索引存储数据。 优点包括每个索引的字段数量更少、自动完成速度更快、存储更高效、对数据量来源的更多可见性以及对生命周期管理策略和索引权限的控制。 命名空间允许你以任何你喜欢的方式对数据进行分组，例如按环境或团队名称。

这对 Beats 用户意味着什么？

Beats 不会很快消失，你可以继续将它们与 Elastic Agent 一起使用。当你将系统从 Beats 切换到 Elastic Agent 时，你可能会同时运行两者。

虽然 Elastic Agent 和 Fleet 更容易使用，但仍有一些时候最好使用 Beats——我们将随着时间的推移缩小这些差距。 Fleet 尚不支持输出到 Logstash 或 Kafka，它需要超级用户角色，并且还需要 Internet 连接才能从 Elastic Package Registry 下载集成列表。我们还致力于将几个剩余的 Beats 模块转换为集成。查看我们的比较页面以了解有关差异的更多信息。

试试看

打开 Kibana 并导航到主菜单中的集成应用程序，亲自尝试一下。在这里你可以看到一个集成列表，该应用程序将指导你完成添加 Elastic Agent的过程。或者，你可以打开 Fleet 应用程序直接添加 Elastic Agent。

Elastic Agent 和 Fleet 都是免费和开放的。我们鼓励与社区合作，以便你可以在 GitHub 上找到 Fleet 和 Elastic Agent 的代码。我们期待着让社区与我们一起踏上这段旅程。

我们希望此版本能够展示我们如何更轻松地将你的系统和应用程序与 Elastic Stack 集成。随着你的反馈，它会随着时间的推移变得更好，所以请在我们的讨论论坛中分享你的想法。

更多阅读：Observability：运用 Fleet 来轻松地导入 Nginx 日志

参考：

【1】https://www.elastic.co/blog/elastic-agent-and-fleet-make-it-easier-to-integrate-your-systems-with-elastic