分布式日志收集之Logstash 笔记

Posted 2021-04-21 我是攻城师

Java代码

1. [search@h3 logstash-2.0.0]$ bin/logstash -e "input{stdin{}} output{stdout{}}"

2. Default settings used: Filter workers: 1

3. Logstash startup completed

4. hello

5. 2015-11-04T15:16:02.747Z h3 hello

6. test

7. 2015-11-04T15:16:08.108Z h3 test

（2）命令行参数仅适合简单的配置，如果配置比较多，我们一般会写入一个以.conf结尾的配置文件里，然后使用
-f命令加载，将（1）中的配置，写入hello.conf

然后使用bin/logstash -f hello.conf 执行加载，即可达到同样效果


（3）常用的数据模块

Java代码

1. input{

2. .....

3. }

4. filter{

5. ......

6. }

7. output{

8. .......

9. }

（4）监听文件,支持通配符，写入文件

Java代码

1. input{

3. file => ["/var/log/file","/var/solr/log/*"]

5. }

7. output{

9. file => "/sys/collect/log"

12. }

（5）logstash插件支持数据类型

Java代码

1. 数组： path=> ["a","b"]

2. 布尔：ssl_enable => true

3. 字节：

4. my_bytes =>"1113"#1113 bytes

5. my_bytes =>"10MiB"#10485760 bytes

6. my_bytes =>"100kib"#102400 bytes

7. my_bytes =>"180 mb"#180000000 bytes

8. 编码：

9. codec => "json"

10. 哈希表：

11. match => {

13. "k1" => "v1"

14. "k2" => "v2"

15. "k3" => "v3"

17. }

18. 数值：

19. port=> 33

20. 密码：

21. pwd=> "password"

22. 路径：

23. path=> "/tmp/logstash"

24. 字符串：

25. name => "hello wordld"

26. 注释：

27. input{

28. # 号开头，与shell脚本注释一样

29. }

30.