ELFK-基础篇

Posted 2023-03-09

参考技术A 本文发布链接地址: https://www.jianshu.com/p/bf5189583543

[TOC]

后台运行与测试

关闭

配置文件的格式是 YAML 格式

elasticsearch-head 是一个简单的 elasticsearch web 图形化的管理工具
使用javascript写的一个弹性搜索集群的Web前端，在 elasticsearch5.x 后不再支持
插件形式的安装，需要作为一个独立的服务安装和启动。

上面的方式我测试没有成功，原因可能是网络问题导致，访问的都是国外的网站，慢。

推荐下面的方式

还有一种安装方式非常简单，只需要在 chrome 浏览器中安装 head 插件即可
在 谷歌商店 搜索 "ElasticSearch Head" 插件，安装这个插件，之后点击 相应插件图标即可。

插件安装地址

之后，在浏览地址栏里输入 elasticsearch 的地址和端口，点击连接

安装完毕

== 该配置文件的所有者必须是root或正在执行Beat进程的用户。 该文件的权限必须不允许除所有者以外的任何人写入，需要是0644的权限==

==/var/log/* 这样的匹配是错误的==

默认情况下，Filebeat 会自动加载推荐的模板文件 filebeat.template.json，如果启用了 Elasticsearch 输出。您可以通过调整 filebeat.yml 文件中的选项template.name和template.path选项来配置filebeat以加载其他模板：

==默认情况下，如果索引中已存在模板，则不会覆盖该模板。要覆盖现有的模板，请template.overwrite: true在配置文件中进行设置。==

要禁用自动模板加载，请注释Elasticsearch输出下的 template 的相关部分。

==如果使用Logstash输出，则不支持自动加载模板的选项，需要手动加载模板。==

假如配置了输出到 Logstash 中，需要手动添加索引模板到 Elasticsearch 中，就需要在 filebeat 的安装目录中执行如下命令

假如你之前已经用了输出到 elasticsearch 的索引模板，可以在成功执行上面命令后，执行下面的命令，用于删除旧的索引模板，这样可以强迫 Kibana 重新使用新的索引模板

要在 Kibana 中查看数据，假如首次使用 kibana，需要先创建索引模式，具体请看 Kibana 部分的介绍

创建索引模式后，您可以 filebeat-* 在 Kibana 中选择索引模式来探索 Filebeat数据。

数据在线程之间以 事件 的形式流传。不要叫行，因为 logstash 可以处理多行事件

此时可以在命令行里输入一下信息，应该可以看到一些输出

可以利用文件输入插件，Logstash 可以很容易配置成读取日志文件作为输入源

例如 读取 Apache 日志文件作为输入,然后输出到标准输出。配置文件如下：

配置为将所有的输入输出到一个 Elasticsearch 实例中. 这是在 ELK 平台中是最常用的配置。

这里是把一个Django 的日志作为输入，之后输出到 elasticsearch

好像没啥卵用

插件类型包括:

Logstash 可以从 file 读取数据

file 插件可用于将事件和日志文件输入给 Logstsh

stdin 输入插件用于从标准输入中读取事件和日志。

当我们配置为 stdin 时，终端上的任何输入都会作为 Logstash 日志管道的输入。
这通常用于测试。

filebeat 插件出现在最新的 5.x 版本中，它是一个轻量级的事件和日志搜集工具。

会把处理过的数据输出到屏幕终端

把处理过的数据存储到 elasticsearch 集群中

true 和 false

编辑码器实际上并不是一种数据类型，它是在输入或输出的时候对数据进行解码或编码
的一种方式

例子：
在输出的时候设置，把输出数据编码成 JSON 格式

就是由一系列键值对组合成的集合。
以 "key" => "value" 的形式表示，多个用空格分开

用双引号引起来的字符序列

以字符 # 开头

字段可以使用 [field_name] 的方式引用
嵌套字段 [field1][field2]

支持下标索引

小贴士：logstash 的数组也支持倒序下标，即 [geoip][location][-1] 可以获取数组最后一个元素的值。

Logstash 还支持变量内插，在字符串里使用字段引用的方法是这样：
"the longitude is %[geoip][location][0]"

Logstsh 的判断语句，与js的一样

条件语句可以一起配合使用的运算符如下：

通常来说，你都会在表达式里用到字段引用。为了尽量展示全面各种表达式，下面虚拟一个示例：

要配置Logstash，您可以创建一个配置文件，指定要使用的插件和每个插件的设置。 您可以在配置中引用事件字段，并使用条件来满足某些条件时处理事件。 当您运行logstash时，使用-f指定您的配置文件。

可以把 Logstash 相关的配置信息放在一个自定义的文件里

配置文件的格式是被分为不同的区域块儿的，基本上是根据 输入插件、过滤插件和输出插件来区分的

每一个区域块儿都包含了一个或者多个插件的配置选项。

==如果在同一个区域中使用了多个插件，则配置文件中的顺序就指定了应用到事件处理六的顺序。==

在运行 Logstash 运行时，可以用 -f 参数指定配置文件的完整路径，甚至可以指定一个包含了多个不同类型如输入、过滤和输出插件的配置文件目录

使用 -t (--configtest) 参数可以检查配置文件的语法，而不是真正运行 Logstash

测试配置文件

如果配置文件通过配置测试，请使用以下命令启动Logstash：

该--config.reload.automatic选项启用自动配置重新加载，以便您每次修改配置文件时不必停止并重新启动Logstash。
--config.reload.automatic 可以用 -r 替代

配置文件常见错误：

下面是完整正确的配置文件内容

用指定配置文件的方式启动 Ctrl + d 停止 logstash 在 shell 命令行里执行的启动程序first-pipeline.conf

其实上面的命令参数在 5.x 之后，都可以在配置文件 logstash.yml 中设置了

现在，您有一个工作流程，从Filebeat读取日志行。但是您会注意到日志消息的格式不理想。您要解析日志消息以从日志中创建特定的命名字段。为此，您将使用grok过滤器插件。

因为grok过滤器插件在传入的日志数据中查找模式，所以配置插件需要您决定如何识别用例感兴趣的模式。来自Web服务器日志示例的代表行如下所示：

使用方法，编辑 first-pipeline.conf
写入下面的内容：

假如你在这之前已经运行了 logstash 和 filebeat 。要想生效现在的过滤配置，您需要强制Filebeat从头开始读取日志文件。
不必重新启动Logstash来接收更改，但是需要删除 filebeat 下的注册表文件 registry，此文件一般在安装目录下的 data 目录下。

由于Filebeat存储在注册表中收集的每个文件的状态，因此删除注册表文件会强制Filebeat读取从头开始捕获的所有文件。

接下来，使用以下命令重新启动Filebeat即可

除了解析日志数据以获得更好的搜索之外，过滤插件也可以从现有数据中导出补充信息。例如，geoip插件会查找IP地址，从地址中导出地理位置信息，并将该位置信息添加到日志中。

将Logstash实例配置为使用geoip过滤器插件，将以下行添加到文件的filter部分first-pipeline.conf

完整的示例：

修改好保存，生效的话，同样先删除 Filebeat 注册文件，之后重启 filebeat

配置输出到 Elasticsearch

测试您的管道编辑
现在，Logstash管道配置为将数据索引到Elasticsearch集群中，您可以查询Elasticsearch。

根据grok过滤器插件创建的字段，尝试对Elasticsearch进行测试查询。使用YYYY.MM.DD格式将$ DATE替换为当前日期

输出

注意
索引名称中使用的日期是基于UTC，而不是Logstash运行的时区。如果查询返回index_not_found_exception，请确保logstash-$DATE反映了索引的实际名称。要查看可用索引的列表，请使用此查询：curl 'localhost:9200/_cat/indices?v'

ps -ef |grep node

kill -9 进程号

在浏览其中输入以下地址