kafka从入门到精通：mysql绿色版闪退

Posted 2021-06-05 Java李松

前言

俗话说“生于忧患，死于安乐”，其实大部分中年危机，就是在安乐中产生的。

有的人或许会反驳，“照你这么说，我还必须奋斗了，不奋斗就要死，难道选择安逸的生活就不对吗？我就没有选择自己生活方式的权利吗？”

说这句话的人其实有一些误解，误解就在于，安逸的生活并不等于不需要奋斗，这要看你的家底。

某聪如果说要选择安逸的生活，他可以很安逸，因为他有了安逸的资本，而大部分的你，并没有这个资本，你如果过早的选择了安逸的生活，那么结局往往会很悲惨，而你能做的，最多也就是让你的后代有选择安逸的资本。

而你，并没有这个选择的权利，所以，想要安逸的生活，就必须先奋斗！

而大部分中年危机，就是因为安逸之前的奋斗不足导致的。

1. Java 堆空间

**发生频率：**5颗星

造成原因

1. 无法在 Java 堆中分配对象

2. 吞吐量增加

3. 应用程序无意中保存了对象引用，对象无法被 GC 回收

4. 应用程序过度使用 finalizer。finalizer 对象不能被 GC 立刻回收。finalizer 由结束队列服务的守护线程调用，有时 finalizer 线程的处理能力无法跟上结束队列的增长

解决方案

单位对应：GB -> G, g；MB -> M, m；KB -> K, k

1. 使用 -Xmx 增加堆大小

2. 修复应用程序中的内存泄漏

2. GC 开销超过限制

**发生频率：**5颗星

造成原因

1. Java 进程98%的时间在进行垃圾回收，恢复了不到2%的堆空间，最后连续5个（编译时常量）垃圾回收一直如此。

解决方案

1. 使用 -Xmx 增加堆大小

2. 使用 -XX:-UseGCOverheadLimit 取消 GC 开销限制

3. 修复应用程序中的内存泄漏

3. 请求的数组大小超过虚拟机限制

**发生频率：**2颗星

造成原因

1. 应用程序试图分配一个超过堆大小的数组

解决方案

1. 使用 -Xmx 增加堆大小

2. 修复应用程序中分配巨大数组的 bug

4. Perm gen 空间

**发生频率：**3颗星

造成原因

Perm gen 空间包含：

• 类的名字、字段、方法

• 与类相关的对象数组和类型数组

• JIT 编译器优化

当 Perm gen 空间用尽时，将抛出异常。

解决方案

1. 使用 -XX: MaxPermSize 增加 Permgen 大小

2. 不重启应用部署应用程序可能会导致此问题。重启 JVM 解决

5. Metaspace

**发生频率：**3颗星

造成原因

1. 从 Java 8 开始 Perm gen 改成了 Metaspace，在本机内存中分配 class 元数据（称为 metaspace）。如果 metaspace 耗尽，则抛出异常

解决方案

1. 通过命令行设置 -XX: MaxMetaSpaceSize 增加 metaspace 大小

2. 取消 -XX: maxmetsspacedize

3. 减小 Java 堆大小,为 MetaSpace 提供更多的可用空间

4. 为服务器分配更多的内存

5. 可能是应用程序 bug，修复 bug

6. 无法新建本机线程

**发生频率：**5颗星

造成原因

1. 内存不足，无法创建新线程。由于线程在本机内存中创建，报告这个错误表明本机内存空间不足

解决方案

1. 为机器分配更多的内存

2. 减少 Java 堆空间

3. 修复应用程序中的线程泄漏。

4. 增加操作系统级别的限制

• ulimit -a

• 用户进程数增大 (-u) 1800

6. 使用 -Xss 减小线程堆栈大小

7. 杀死进程或子进程

**发生频率：**1颗星

造成原因

1. 内核任务：内存不足结束器，在可用内存极低的情况下会杀死进程

解决方案

1. 将进程迁移到不同的机器上

2. 给机器增加更多内存

与其他 OOM 错误不同，这是由操作系统而非 JVM 触发的。

8. 发生 stack_trace_with_native_method

**发生频率：**1颗星

造成原因

1. 本机方法（native method）分配失败

2. 打印的堆栈跟踪信息，最顶层的帧是本机方法

解决方案

使用操作系统本地工具进行诊断

总结：绘上一张Kakfa架构思维大纲脑图（xmind）

其实关于Kafka，能问的问题实在是太多了，扒了几天，最终筛选出44问：基础篇17问、进阶篇15问、高级篇12问，个个直戳痛点，不知道如果你不着急看答案，又能答出几个呢？

若是对Kafka的知识还回忆不起来，不妨先看我手绘的知识总结脑图（xmind不能上传，文章里用的是图片版）进行整体架构的梳理

资料领取方式：点击这里免费下载

梳理了知识，刷完了面试，如若你还想进一步的深入学习解读kafka以及源码，那么接下来的这份《手写“kafka”》将会是个不错的选择。

• Kafka入门

• 为什么选择Kafka

• Kafka的安装、管理和配置

• Kafka的集群

• 第一个Kafka程序

• Kafka的生产者

• Kafka的消费者

• 深入理解Kafka

• 可靠的数据传递

• Spring和Kafka的整合

• SpringBoot和Kafka的整合

• Kafka实战之削峰填谷

• 数据管道和流式处理(了解即可)

• Kafka的生产者

• Kafka的消费者

• 深入理解Kafka

• 可靠的数据传递

• Spring和Kafka的整合

• SpringBoot和Kafka的整合

• Kafka实战之削峰填谷

• 数据管道和流式处理(了解即可)

[外链图片转存中…(img-byAqs9Qx-1621915112229)]