ES篇：logstash初识

Posted 2022-05-08 htian2016

　　elasticsearch（官网）的发展历程省略。。总所周知，它是目前主流的，最受欢迎的搜索引擎之一，可用于数据搜集分析，文档检索等等方面。而logstash是Elastic 公司旗下的一款日志搜索收集产品。一步一个脚印，楼主正在摸索着es+logstash+kibana的关系及运用（后续会引入docker和集群）。为什么把logstash作为初识搜索方向的第一步呢？其实是基于这样考虑：logstash作为一款数据处理输出产品，用途广泛，不仅限于es方面。也可以和mysql，app，http，MongoDB等等结合运用，其集成了很多插件。

　　一、logstash（学习版本为6.7.0）的下载，安装非常简单，上手即用。

　　　　下载解压后，进入bin文件夹，cmd输入指令 ： logstash-plugin list ,可以看到其集成的插件列表。

　　　　

　　二、尝试运用一个demo，输出hello world!

　　　　-e 是 以命令行运行logstash， -f 以配置文件运行运行logstash，codes 为指定输出数据格式。 　　　　

　　　　在bin目录下，cmd输入指令：logstash -e ‘input stdin output stdout codec => "json"‘

　　　　启动完毕之后，在控制台输入 hello world

　　　　

　　三、尝试使用把控制台输入的信息输入到app上（http）

　　　　接收api：

　　

 　　　在config目录创建一个logstash-http.conf文件，写一个最简单的配置，指定输入编码为GB2312（用utf8 encode时，也可在filter中加
　　　urldecode all_fields => true），不然会乱码。url地址指向应用上面的log接口，省略filter。。

　　　　

 

 　　　cmd指令：logstash -f ..\\config\\logstash-http.conf 启动成功后，控制台输入hello ，笨猪！ide日志输入可以看到，logstash把接收到的数据，进行处理后，输出到我的应用接口了。

　　　

　　四、其他，使用es作为接收数据或etc。。。：

　　　　

　　五、总结

　　　　 logstash是java开发，内存占用比较高（网上说的，比较filebeat确实有一定道理。。但胜在功能多啊）。

　　　　待续。。