Kafka集群对消息的保存是根据Topic进行归类的，由消息生产者（Producer）和消息消费者（Consumer）组成，另外，每一个Server称为一个Broker（经纪人）。对于Kafka集群而言，Producer和Consumer都依赖于ZooKeeper来保证数据的一致性。
在每条消息输送到Kafka集群后，消息都会有一个Type，这个Type被称为一个Topic，不同的Topic的消息是分开存储的。每个Topic可以被分割为多个Partition，在每条消息中，它在文件中的位置称为Offset，用于标记唯一一条消息。在Kafka中，消息被消费后，消息仍然会被保留一定时间后在删除，比如在配置信息中，文件信息保留7天，那么7天后，不管Kafka中的消息是否被消费，都会被删除；以此来释放磁盘空间，减少磁盘的IO消耗。
在Kafka中，一个Topic的多个分区，被分布在Kafka集群的多个Server上，每个Server负责分区中消息的读写操作。另外，Kafka还可以配置分区需要备份的个数，以便提高可用行。由于用到ZK来协调，每个分区都有一个Server为Leader状态，服务对外响应（如读写操作），若该Leader宕机，会由其他的Follower来选举出新的Leader来保证集群的高可用性。
一个Topic中的消息数据按照多个分区组织，分区是kafka消息队列组织的最小单位，一个分区可以看作是一个FIFO（ First Input First Output）的队列。
kafka分区是提高kafka性能的关键所在，当你发现你的集群性能不高时，常用手段就是增加Topic的分区，分区里面的消息是按照从新到老的顺序进行组织，消费者从队列头订阅消息，生产者从队列尾添加消息。
编译报错：WARN Selector: Error in I/O with localhost/127.0.0.1
java.io.EOFException
错误：https://issues.apache.org/jira/browse/KAFKA-3205
环境准备：
1. Java JDK (jdk1.8.0_112 64-bit)
安装完成后添加系统变量：
JAVA_HOME= C:\Program Files\Java\jdk1.8.0_112
并在系统变量Path后添加 ;%JAVA_HOME%\bin;
2. Apache ZooKeeper
① 解压进入目录E:\Zookeeper\zookeeper-3.4.11\conf
② 将“zoo_sample.cfg”重命名为“zoo.cfg”
③ 打开“zoo.cfg”找到并编辑dataDir=E:\Zookeeper\zookeeper-3.4.11\data
④ 添加系统变量：ZOOKEEPER_HOME= E:\Zookeeper\zookeeper-3.4.11，并在系统变量Path后添加;%ZOOKEEPER_HOME%\bin;
⑤ 查看zoo.cfg文件clientPort默认值是否为2181
⑥ cmd中输入zkServer ，如下图则表示ZooKeeper启动成功(窗口不要关闭)
3. Apache Kafka(请选择Binary downloads)
① 压进入目录E:\kafka_2.12-1.0.0\config
② 打开server.properties并编辑log.dirs=E:\kafka_2.12-1.0.0\kafka-logs
③ 确认zookeeper.connect=localhost:2181
④ 进入目录E:\kafka_2.12-1.0.0\并Shift+右键，选择“打开命令窗口”，输入：
.\bin\windows\kafka-server-start.bat .\config\server.properties
如果是第二次启动，则需要进入目录删除文件夹kafka_2.12-1.0.0kafka-logs后重新运行命令。
代码测试(scala maven项目)：
1. pom.xml
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.5.1</version>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>0.9.0.1</version>
</dependency>
说明：kafka-clients不要使用0.8.2.1版本，因为它的poll函数直接返回了null
另外在0.9.0版本之后，consumer api不再区分high-level和low-level了。
2. producer.scala
import java.io.{File, FileInputStream}
import java.util.Properties
import org.apache.kafka.clients.producer.{KafkaProducer, ProducerConfig, ProducerRecord}
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object producer {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf()
sparkConf.setAppName("kafka").setMaster("local[4]").set("SPARK_EXECUTOR_CORES","1")
val sc = new SparkContext(sparkConf)
val topic: RDD[String] = sc.textFile(s"F:/123456.txt")
val kafkaProducerCfg = "E:\\kafka_2.12-1.0.0\\config\\producer.properties"
val kafkaprop = new Properties()
kafkaprop.load(new FileInputStream(new File(kafkaProducerCfg)))
topic.repartition(1).foreachPartition((partisions: Iterator[String]) => {
val producer: KafkaProducer[String, String] = new KafkaProducer[String, String](kafkaprop)
var pr = new ProducerRecord[String, String]("my-topic","my-key", "hi laosiji ")
producer.send(pr)
pr = new ProducerRecord[String, String]("finally","kafka", "可用了 ")
producer.send(pr)
partisions.foreach((line: String) => {
try {
val pr = new ProducerRecord[String, String]("my-topic","my-key", line)
producer.send(pr)
} catch {
case ex: Exception => println(ex.getMessage, ex)
}
})
producer.close()
})
}
}
3. consumer.scala
import java.io.{File, FileInputStream}
import java.util.Properties
import scala.collection.JavaConverters._
import org.apache.kafka.clients.consumer.{ConsumerRecords, KafkaConsumer}
object consumer {
def main(args: Array[String]): Unit = {
val kafkaProducerCfg = "E:\\kafka_2.12-1.0.0\\config\\consumer.properties"
val is = new FileInputStream(new File(kafkaProducerCfg))
val kafkaprop = new Properties()
// kafkaprop.load(is)
is.close()
kafkaprop.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer")
kafkaprop.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer")
// kafkaprop.put("partition.assignment.strategy", "range")
kafkaprop.put("group.id", "test")
kafkaprop.put("enable.auto.commit", "true")
kafkaprop.put("auto.commit.interval.ms", "1000")
kafkaprop.put("session.timeout.ms", "6000")
kafkaprop.put("bootstrap.servers","localhost:9092")
try{
val consumer: KafkaConsumer[String,String] = new KafkaConsumer[String,String](kafkaprop)
consumer.subscribe(java.util.Arrays.asList("my-topic","finally"))
while (true) {
val records = consumer.poll(1000)
var it = records.records("my-topic").iterator()
while (it.hasNext){
println(it.next())
}
it = records.records("finally").iterator()
while (it.hasNext){
println(it.next())
}
}
consumer.close()
} catch {
case e => e.printStackTrace()
}
}
}
4. 先启动consumer，再启动producer，可以在控制台看到运行结果。
控制台测试：
1. 进入目录E:\kafka_2.12-1.0.0创建Topic
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 –topic HelloKafka
查看Topic：
.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
2. 进入目录E:\kafka_2.12-1.0.0打开cmd创建生产者：
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic HelloKafka
3. 进入目录E:\kafka_2.12-1.0.0打开cmd创建消费者：
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic HelloKafka --from-beginning