3.高并发教程-基础篇-之分布式全文搜索引擎elasticsearch的搭建

Posted 2020-11-05 齐泽西

高并发教程-基础篇-之分布式全文搜索引擎elasticsearch的搭建

如果大家看了我的上一篇《2.高并发教程-基础篇-之nginx+mysql实现负载均衡和读写分离》文章，如果能很好的利用，那么其实已经可以轻松日抗千万级别的访问量了，但是如果业务涉及查询比较多，查询条件比较丰富，又或者我就想要查询的响应更快点，那么在mysql上面去做优化，其实比较辛苦,有没有更好的解决方案呢？答案是肯定的！它就是我们今天的主角，分布式全文搜索引擎elasticsearch.

技巧提示：mysql集群层主要提供核心业务逻辑的读写以及数据的冗余备份；elasticsearch负责前端的查询和展示。比如，用户的所有写操作都是在mysql的master服务器上面完成；然后通过主从机制，把数据同步至多个mysql从机，然后通过从机把数据同步至elasticsearch.因为有多个mysql从机，所有同步的时候划分合适数量的表分担至各个从机去同步，这样既可以减轻各个mysql服务器的压力，又可以更加高效同步。同步工具这里推荐logstash,大家自行搜索了解，如果遇到坑可以留言。

一、架构图：

服务器准备：3台，ubuntu16.04系统+elasticsearch-6.2.4
slave1:192.168.1.191 ES集群master
slave2:192.168.1.192 ES集群slave
slave3:192.168.1.193 ES集群slave
[注意：nginx方向代理和mysql集群的配置这里不做说明,大家可以看我的之前的文章]

二、elasticsearch配置(分别在三台服务器上面进行如下操作)

1.java环境配置：

    *请自行前往java官方下载java，然后解压至合适目录
    vim /etc/profile加入如下内容：
    #java
    export JAVA_HOME=/home/qizexi/data/java #这个改为你java的解压目录
    export JAVA_CLASS=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin
    保存，退出
    source /etc/profile
    java -version看到如下内容即是java安装成功
    ---------------------------------------
    java version "1.8.0_141"
    ---------------------------------------
        

 

2.账号准备：

    elasticsearch不允许以root账号运行，所以我们可以添加一个es用户来负责运行elasticsearch
    useradd es
    passwd es

    将elasticsearch-6.2.4的安装目录变更为es用户
    chown -R es:es elasticsearch-6.2.4

    改变ulimit的1024的限制
    vim /etc/security/limits.conf
    * hard nofile 100000
    * soft nofile 100000
    * hard nproc 100000
    * soft nproc 100000
    保存退出
    source /etc/security/limits.conf
    切换es用户(su es)之后运行
    ulimit -n可以看到
    100000
    说明成功，否则可以重启生效:)

    改变max_map_countd的限制：
    vim /etc/sysctl.conf修改如下配置:
    vm.max_map_count=262144
    保存退出
    运行：sysctl -p
        

 

3.主服务器配置(191):

    cd 到elasticsearch-6.2.4的解压目录
    vim config/elasticsearch.yml修改如下内容：
    cluster.name: my-app
    node.name: master
    network.host: 192.168.1.191
    http.port: 9200
    discovery.zen.ping.unicast.hosts: ["192.168.1.191", "192.168.1.192", "192.168.1.193"]
    保存，然后使用es账号启动即可.
    su es
    bin/elasticsearch -d
    su root
    netstat -tlnp看到如下内容即是成功(有可能过几秒钟才能看到):
    ------------------------------------------------------
    192.168.1.191:9200
    192.168.1.191:9300
        

 

4.配置从服务器（192,193）:

    cd 到elasticsearch-6.2.4的解压目录
    vim config/elasticsearch.yml修改如下内容：
    cluster.name: my-app
    node.name: slave1 #193服务器改为slave2
    network.host: 192.168.1.192 #193服务器改为192.168.1.193
    http.port: 9200
    discovery.zen.ping.unicast.hosts: ["192.168.1.191", "192.168.1.192", "192.168.1.193"]
    保存，然后使用es账号启动即可.
    su es
    bin/elasticsearch -d
    su root
    netstat -tlnp看到如下内容即是成功(有可能过几秒钟才能看到):
    -------------------------------------------------------
    192.168.1.192:9200 #192上面看到是193
    192.168.1.192:9300 #192上面看到是193
        

 

5.查看集群的状态：

    curl -XGET \'http://192.168.1.191:9200/_cat/nodes?v\'
    看到三个节点即可成功：
    ip            heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
    192.168.1.191           25          55   0    0.00    0.01     0.00 mdi       *      master
    192.168.1.192           22          97   5    0.70    0.34     0.17 mdi       -      slave1
    192.168.1.193           20          75  30    0.54    0.14     0.05 mdi       -      slave2