kafka集群环境服务器大小选择
Posted Dobyi
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了kafka集群环境服务器大小选择相关的知识，希望对你有一定的参考价值。
假设前提条件：
1.系统用户日活数100万
2.每个用户产生的行为数据为100条
3.每条数据大小为1kb
4.kafka的副本数量为2个
5.kafka数据保存时间为3天
6.系统用户活跃时间为09:00-24:00，也就是16个小时
相关数据计算：
1.计算总数据量大小
100万 * 100条 * 1kb = 100G
2.计算平均访问量
1GB / 16h / 3600s = 1736kb/s 略等于 2m/s
3.计算访问峰值，按业界经验，峰值一般为平均值的20~30倍，即：
峰值 = 2m/s * (20 ~ 30) = 40m/s ~ 60m/s
4.计算服务器数量，同样按照业界公式：服务器数量 = 2 * (副本数 * 峰值 / 100) + 1，即：
服务器数量 = 2 * (2 * 60 / 100) + 1 = 3.4 略等于4台，此处按最大峰值计算
5.计算每台服务器磁盘大小
由于数据存在副本和保留天数，初步估算总数据量大小为：
初步估算总数据量 = 100G * 2 * 3 = 600G
注意！！由于服务器并不是所有的磁盘空间都用来给到kafka存储数据，一般会使用70%
给到kafka，所以在上一步的基础上还要计算，即：
总数据量 = 600G / 0.7 = 857G 略等于 1T
然后分摊到4台服务器上，即每台服务器磁盘大小为250G
6.计算每台服务器内存大小
由于副本数据主要是作为备份，真正参与读写的数据为：100G * 3(保留天数)，
同样按照70%占比计算，即：
每台服务器内存大小 = 100G * 3 / 0.7 / 4 = 107G 略等于128G
以上计算方式仅供参考！
linux虚拟机搭建Kafka集群环境
linux虚拟机搭建Kafka集群环境
一、环境准备
-
下载Kafka 官网下载地址
-
这里我选择安装过Zookeeper的三台服务器上，再分别安装kafka【192.168.109.100 ；192.168.109.101 ；192.168.109.102】，自己可以扩展另外一些机器来安装kafka。
一、Kafka安装
1、打开三台虚拟机
2、用Xshell连接，并选择【发送键输入到所有会话】
【发送键输入到所有会话】：意思是在一个会话中的操作，可以同步到其他会话窗口。这样只需要在一个连接机器的安装，就可实现所有连接机器的安装。
3、在【/opt】下创建kafka文件夹
******************命令如下******************
cd /opt/
mkdir kafka
cd kafka/
4、下载kafka 官网下载地址
******************命令如下******************
wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
5、解压【kafka_2.13-2.8.0.tgz】
******************命令如下******************
tar -zxvf kafka_2.13-2.8.0.tgz
6、修改【server.properties】配置文件
进入【/opt/kafka/kafka_2.13-2.8.0/config/】路径下。
******************命令如下******************
cd /opt/kafka/kafka_2.13-2.8.0/config/
vim server.properties
6.1、修改【zookeeper.connect】参数
【zookeeper.connect】：设置连接的zookeeper集群连接信息
******************命令如下******************
zookeeper.connect=192.168.109.100:2181,192.168.109.101:2181,192.168.109.102:2181
6.2、分别修改【broker.id】参数
【broker.id】： 当前机器在集群中的唯一标识，和zookeeper的myid性质一样。【不能重复】
我这里，机器[192.168.109.100]，设置broker.id=0
机器[192.168.109.101]，设置broker.id=1
机器[192.168.109.102]，设置broker.id=2
6.3、分别修改【listeners=PLAINTEXT://:9092】参数
【9092】：是kafka默认端口。这里每个机器都改成自己的ip，见如下操作：
******************修改如下******************
listeners=PLAINTEXT://192.168.109.100:9092
******************修改如下******************
listeners=PLAINTEXT://192.168.109.101:9092
******************修改如下******************
listeners=PLAINTEXT://192.168.109.102:9092
6.4、修改【log.dirs】参数
【log.dirs】：日志存放路径，根据自己情况而定。
******************修改如下******************
log.dirs=/opt/kafka/kafka_2.13-2.8.0/logs
6.5、退出编辑，并保存
按【ESC】键退出编辑，并输入【:qw!】保存【server.properties】配置信息。
******************命令如下******************
:qw!
三、运行Kafka集群
1、运行Zookeeper集群服务
2、运行Kafka集群服务
./kafka-server-start.sh -daemon ../config/server.properties
####说明：【-daemon】守护进程方式启动，可加可不加。
【../config/server.properties】server.properties文件的相对路径
……
帮助他人，快乐自己，最后，感谢您的阅读！
所以如有纰漏或者建议，还请读者朋友们在评论区不吝指出！
个人网站…知识是一种宝贵的资源和财富，益发掘，更益分享…
以上是关于kafka集群环境服务器大小选择的主要内容，如果未能解决你的问题，请参考以下文章