一文搞定Centos7.x安装ELK的7.6.2版本以及Cerebro集群监控

Posted Java码农社区

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一文搞定Centos7.x安装ELK的7.6.2版本以及Cerebro集群监控相关的知识,希望对你有一定的参考价值。


PS:已安装JDK,至少jdk8.x,最好jdk11。jdk8.x也可以,只是官方不建议哈。

一、Centos7安装Elasticsearch7.6.2

自己新建个账号,不能用root启动,ES不允许用root用户!

自己新建个账号,不能用root启动,ES不允许用root用户!

自己新建个账号,不能用root启动,ES不允许用root用户!

1、下载

  
    
    
  
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-linux-x86_64.tar.gz

2、安装

  
    
    
  
tar -xvf elasticsearch-7.6.2-linux-x86_64.tar.gz

3、进行配置

下面全部配置一定都要做!否则会报错的,具体报错信息不贴出来了,按照步骤做即可!

下面全部配置一定都要做!否则会报错的,具体报错信息不贴出来了,按照步骤做即可!

下面全部配置一定都要做!否则会报错的,具体报错信息不贴出来了,按照步骤做即可!

3.1、修改elasticsearch.yml


  
    
    
  
vi config/elasticsearch.yml
# node节点名称,我这里叫node-1node.name: node-1# 配置成0.0.0.0代表可外网访问。network.host: 0.0.0.0# http访问端口http.port: 9200# 如下两个配置是数据文件位置和日志文件位置# 个人建议别放到es目录下,因为会增大es目录体积不说,如果es目录丢失了的话,那数据和日志都丢了。path.data: xxxpath.logs: xxx# 哪些节点可以作为备选master节点,就是master挂了的话,这里面的节点可以有升级为M的资格。# 自己业余玩的话可以默认不配就行# discovery.seed_hosts: ["127.0.0.1", "[::1]"]# 哪些节点在启动的时候就有资格成为Master,我们这里是单机,就一个node-1,所以配node-1就行# 比如配置node-1和node-2,意味着启动的时候将从这两个节点之间选择一个成为Mastercluster.initial_master_nodes: ["node-1"]

3.2、修改jvm参数

ES7.x后默认jvm堆大小是1GB,这个根据自己内存情况来选择是否修改。

  
    
    
  
vim config/jvm.options
-Xms512m-Xmx512m

ES官方blog配置建议:

  • Xmx和Xms设置成一样的。
  • 不要超过机器内存的50%
  • 不要超过30GB

3.3、修改sysctl.conf

root用户修改,全局生效。

  
    
    
  
vim /etc/sysctl.conf
# 在最后添加如下vm.max_map_count = 655360

3.4、修改limits.conf

  
    
    
  
vim /etc/security/limits.conf
# 在最后添加如下,其中chentongwei是我ES的启动用户chentongwei soft nofile 65536chentongwei hard nofile 65536chentongwei soft nproc 4096chentongwei hard nproc 4096

3.5、reboot

是的,没错,为了100%能成功,上面配置都修改完成后,reboot,让配置生效!

3.6、启动ES

  
    
    
  
cd elasticsearch-7.6.2/# -d 代表后台启动./bin/elasticsearch -d

3.7、验证ES

输入http://ip:9200/,如出现下面信息,则代表成功:

3.8、如外网无法访问

  • 请检查你的防火墙(要么关闭,要么端口开放出去)
  • 请检查你的安全组(如果是云服务器的话,请看安全组入口规则)
  • 前两步确认没问题的话,请配置如下:(正常情况ES7.x不需要配置就可以)

  
    
    
  
vi config/elasticsearch.yml
# 开启跨域访问支持,默认为falsehttp.cors.enabled: true# 跨域访问允许的域名地址,(允许所有域名)以上使用正则http.cors.allow-origin: "*"

二、Centos7安装Kibana7.6.2

1、下载

  
    
    
  
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.6.2-linux-x86_64.tar.gz

2、安装

  
    
    
  
tar -xvf kibana-7.6.2-linux-x86_64.tar.gz

3、配置

  
    
    
  
cd kibana-7.6.2-linux-x86_64vi config/kibana.yml

修改如下内容


  
    
    
  
# 默认值5601,没有需要可以不修改server.port: 5601# 允许远程访问server.host: "0.0.0.0"# 默认值http://localhost:9200elasticsearch.url: "http://192.168.1.10:9200"

4、启动

  
    
    
  
./bin/kibana
# 后台启动# nohup ./bin/kibana &

5、验证

输入网址http://ip:5601/,能正常打开即代表成功。

三、Centos7安装Logstash7.6.2且导入MovieLens数据集

1、下载Logstash7.6.2

  
    
    
  
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.2.tar.gz

2、解压Logstash7.6.2

  
    
    
  
tar -zxf logstash-7.6.2.tar.gz

3、下载 MovieLens 测试数据集

  
    
    
  
cd logstash-7.6.2/
wget http://files.grouplens.org/datasets/movielens/ml-latest-small.zip

4、解压测试数据集

  
    
    
  
yum install unzipunzip ml-latest-small.zip

5、创建 logstash.conf 文件,添加如下内容(Ruby 语法)

  
    
    
  
touch config/logstash.confvi config/logstash.conf
  
    
    
  
input { file { path => "/home/chentongwei/devtools/logstash-7.6.2/ml-latest-small/movies.csv" start_position => "beginning" sincedb_path => "/dev/null" }}filter { csv { separator => "," columns => ["id","content","genre"] } mutate { split => { "genre" => "|" } remove_field => ["path", "host","@timestamp","message"] } mutate {
split => ["content", "("] add_field => { "title" => "%{[content][0]}"} add_field => { "year" => "%{[content][2]}"} } mutate { convert => { "year" => "integer" } strip => ["title"] remove_field => ["path", "host","@timestamp","message","content"] }}output { elasticsearch { hosts => "http://172.17.160.29:9200" index => "movies" document_id => "%{id}" } stdout {}}

6、导入数据

导入后不会自动退出,需要用 Ctrl-C 手动退出

  
    
    
  
./bin/logstash -f ./config/logstash.conf

回车后没反应的话,等几秒钟,因为量太大,需要导入的时间。

7、验证数据是否导入成功

http://ip:9200/_cat/indices,可以看到movies的索引已经存在了,且doc数是9743,大功告成!一文搞定Centos7.x安装ELK的7.6.2版本以及Cerebro集群监控

四、Centos7安装Cerebro0.9.4

1、下载

wget 'https://github.com/lmenezes/cerebro/releases/download/v0.9.4/cerebro-0.9.4.zip'

2、安装

直接解压即可tar -xvf cerebro-0.9.4.tgz

3、启动

  
    
    
  
cd cerebro-0.9.4/./bin/cerebro
# 后台启动# nohup ./bin/cerebro &

4、验证

以上是关于一文搞定Centos7.x安装ELK的7.6.2版本以及Cerebro集群监控的主要内容,如果未能解决你的问题,请参考以下文章

一文搞定全场景K3s离线安装

springboot 2.0 集成elk 7.6.2

ELK集群搭建过程记录—7.6.2版本

[新星计划]一文快速搞定Redis_数据类型及JavaApi操作

centos7 搭建elk

ELK 二进制安装filebeat开机自启动设置