[elk]kafka_elk

Posted 2020-11-20 iiiiher

kafka

https://www.tutorialspoint.com/apache_kafka/apache_kafka_cluster_architecture.htm

https://dzone.com/articles/kafka-architecture

https://leokongwq.github.io/2017/02/06/mq-kafka-tutorial.html

在上图中一个topic被配置为拥有3个分区，
分区1包含两个偏移因子0和1。
分区2包含4个偏移因子0, 1, 2 和 3。
分区3包含1个偏移因子0。

分区副本的id和该副本所在的broker的id一致。

http://www.imooc.com/article/29209#

由两个机器组成的集群拥有4个分区 (P0-P3) 2个consumer组. A组有两个consumerB组有4个

细节注意点

/usr/local/zookeeper/bin/zkServer.sh  status

/usr/local/zookeeper/bin/zkCli.sh -server 192.168.56.11:2181
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

#/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties & #此方式zookeeper会在shell断开后关闭

/usr/local/kafka/bin/kafka-topics.sh --create  --zookeeper 192.168.56.11:2181,192.168.56.12:2181,192.168.56.13:2181 --partitions 3 --replication-factor 3 --topic logstashtest


/usr/local/kafka/bin/kafka-topics.sh  --describe --zookeeper 192.168.56.11:2181,192.168.56.12:2181,192.168.56.13:2181  --topic logstashtest

状态说明：logstashtest有三个分区分别为1、2、3，分区0的leader是3（broker.id），分区0有三个副本，并且状态都为lsr（ln-sync，表示可以参加选举成为leader）。

[[email protected]linux-host1 ~]# grep "^[a-Z]"   /etc/elasticsearch/elasticsearch.yml 
cluster.name: ELK-Cluster #ELK的集群名称，名称相同即属于是同一个集群
node.name: elk-node1 #本机在集群内的节点名称
path.data: /elk/data  #数据保存目录
path.logs: /elk/logs   #日志保存目
bootstrap.memory_lock: true #服务启动的时候锁定足够的内存，防止数据写入swap
network.host: 0.0.0.0 #监听IP
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.56.11", "192.168.56.12"]

1.3.3：修改内存限制，并同步配置文件：
[[email protected] ~]# vim /usr/lib/systemd/system/elasticsearch.service #修改内存限制
LimitMEMLOCK=infinity  #去掉注释,可以最大化使用内存
[[email protected] ~]# vim /etc/elasticsearch/jvm.options 
22 -Xms2g
23 -Xmx2g #最小和最大内存限制，为什么最小和最大设置一样大？
https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.html
#官方配置文档最大建议30G以内。


curl –sXGET  http://192.168.56.11:9200/_cluster/health?pretty=true

测试获取topic：
可以在任意一台kafka服务器进行测试：
[[email protected] ~]# /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.56.11:2181,192.168.56.12:2181,192.168.56.13:2181 --topic logstashtest

状态说明：logstashtest有三个分区分别为1、2、3，分区0的leader是3（broker.id），分区0有三个副本，并且状态都为lsr（ln-sync，表示可以参加选举成为leader）。