你确定不来看看？JVM青铜段位笔记

Posted 2021-09-01 XiaoLin__Java

一、JVM与Java体系结构

1.1、前言

    作为Java工程师的你曾被伤害过吗？你是否也遇到过这些问题？

• 运行着的线上系统突然卡死，系统无法访问，甚至直接OOM

• 想解决线上JVM GC问题，但却无从下手

• 新项目上线，对各种JVM参数设置一脸茫然，直接默认吧然后就JJ了

• 每次面试之前都要重新背一遍JVM的一些原理概念性的东西，然而面试官却经常问你在实际项目中如何调优VM参数，如何解决GC、OOM等问题，一脸懵逼

    大部分Java开发人员，除会在项目中使用到与Java平台相关的各种高精尖技术，对于Java技术的核心Java虚拟机了解甚少，一些有一定工作经验的开发人员，打心眼儿里觉得SSM、微服务等上层技术才是重点，基础技术并不重要，这其实是一种本末倒置的“病态”。如果我们把核心类库的API比做数学公式的话，那么Java虚拟机的知识就好比公式的推导过程。

    计算机系统体系对我们来说越来越远，在不了解底层实现方式的前提下，通过高级语言很容易编写程序代码。但事实上计算机并不认识高级语言。

1.3、 架构师每天都在思考什么？

• 应该如何让我的系统更快？
• 如何避免系统出现瓶颈？
• 参与现有系统的性能优化，重构，保证平台性能和稳定性
• 根据业务场景和需求，决定技术方向，做技术选型
• 能够独立架构和设计海量数据下高并发分布式解决方案，满足功能和非功能需求
• 解决各类潜在系统风险，核心功能的架构与代码编写
• 分析系统瓶颈，解决各种疑难杂症，性能调优等

1.4、为什么要学习JVM

• 面试的需要（BATJ、TMD，PKQ等面试都爱问）

• 中高级程序员必备技能：项目管理、调优的需求

• 追求极客的精神：垃圾回收算法、JIT、底层原理

1.5、JVM：跨语言的平台

    Java 是目前应用最为广泛的软件开发平台之一。他是跨平台的语言，而JVM是跨语言的平台。随着 Java 以及 Java 社区的不断壮大 Java 也早已不再是简简单单的一门计算机语言了，它更是一个平台、一种文化、一个社区。

• 作为一个平台，Java 虚拟机扮演着举足轻重的作用
  • Groovy、Scala、JRuby、Kotlin 等都是 Java 平台的一部分
• 作为一种文化，Java 几乎成为了开源的代名词。
  • 第三方开源软件和框架。如 Tomcat、Struts，MyBatis，Spring 等。
  • 就连 JDK 和 JVM 自身也有不少开源的实现，如 openJDK、Harmony。
• 作为一个社区，Java 拥有全世界最多的技术拥护者和开源社区支持，有数不清的论坛和资料。从桌面应用软件、嵌入式开发到企业级应用、后台服务器、中间件，都可以看到 Java 的身影。其应用形式之复杂、参与人数之众多也令人咋舌。

    随着 Java7 的正式发布，Java 虚拟机的设计者们通过 JSR-292 规范基本实现在Java 虚拟机平台上运行非 Java 语言编写的程序。Java 虚拟机根本不关心运行在其内部的程序到底是使用何种编程语言编写的，它只关心字节码文件。比如说我们每天早上喝的牛奶，我们并不会去关心他背后奶牛的品种、颜色，而只是关心这瓶奶有没有坏，好不好喝，营养够不够均衡。

    也就是说 Java 虚拟机拥有语言无关性，并不会单纯地与 Java 语言终身绑定，只要其他编程语言的编译结果满足并包含 Java 虚拟机的内部指令集、符号表以及其他的辅助信息，它就是一个有效的字节码文件，就能够被虚拟机所识别并装载运行。每个语言都需要转换成字节码文件，最后转换的字节码文件都能通过 Java 虚拟机进行运行和处理

1.6、字节码

    我们平时说的 java 字节码，指的是用 java 语言编译成的字节码。准确的说任何能在 jvm 平台上执行的字节码格式都是一样的。所以应该统称为：jvm 字节码。

    不同的编译器，可以编译出相同的字节码文件，字节码文件也可以在不同的 JVM 上运行。

    Java 虚拟机与 Java 语言并没有必然的联系，它只与特定的二进制文件格式—Class 文件格式所关联，Class 文件中包含了 Java 虚拟机指令集（或者称为字节码、Bytecodes）和符号表，还有一些其他辅助信息。

1.7、多语言混合编程

    Java 平台上的多语言混合编程正成为主流，通过特定领域的语言去解决特定领域的问题是当前软件开发应对日趋复杂的项目需求的一个方向。我们可以想象一下，在一个项目之中，并行处理用 Clojure 语言编写，展示层使用 JRuby/Rails，中间层则是 Java，每个应用层都将使用不同的编程语言来完成，而且，接口对每一层的开发者都是透明的，各种语言之间的交互不存在任何困难，就像使用自己语言的原生 API 一样方便，因为它们最终都运行在一个虚拟机之上。

    对这些运行于 Java 虚拟机之上、Java 之外的语言，来自系统级的、底层的支持正在迅速增强，以 JSR-292 为核心的一系列项目和功能改进（如 Da Vinci Machine 项目、Nashorn 引擎、InvokeDynamic 指令、java.lang.invoke 包等），推动 Java 虚拟机从“Java 语言的虚拟机”向 “多语言虚拟机”的方向发展。

1.8、Java 发展的重大事件

• 1990 年，在 Sun 计算机公司中，由 Patrick Naughton、MikeSheridan 及 James Gosling 领导的小组 Green Team，开发出的新的程序语言，命名为 oak，后期命名为 Java
• 1995 年，Sun 正式发布 Java 和 HotJava 产品，Java 首次公开亮相。
• 1996 年 1 月 23 日，Sun Microsystems 发布了 JDK 1.0。
• 1998 年，JDK1.2 版本发布。同时，sun 发布了 JSP/Servlet、EJB 规范，以及将 Java 分成了 J2EE、J2SE 和 J2ME。这表明了 Java 开始向企业、桌面应用和移动设备应用 3 大领域挺进。
• 2000 年，JDK1.3 发布，Java HotSpot Virtual Machine 正式发布，成为 Java 的默认虚拟机。
• 2002 年，JDK1.4 发布，古老的 Classic 虚拟机退出历史舞台。
• 2003 年年底，Java 平台的 Scala 正式发布，同年 Groovy 也加入了 Java 阵营。
• 2004 年，JDK1.5 发布。同时 JDK1.5 改名为 JavaSE5.0。
• 2006 年，JDK6 发布。同年，Java 开源并建立了 OpenJDK。顺理成章，Hotspot 虚拟机也成为了 openJDK 中的默认虚拟机。
• 2007 年，Java 平台迎来了新伙伴 Clojure。
• 2008 年，Oracle 收购了 BEA，得到了 JRockit 虚拟机。
• 2009 年，Twitter 宣布把后台大部分程序从 Ruby 迁移到 Scala，这是 Java 平台的又一次大规模应用。
• 2010 年，Oracle 收购了 Sun，获得 Java 商标和最真价值的 HotSpot 虚拟机。此时，Oracle 拥有市场占用率最高的两款虚拟机 HotSpot 和 JRockit，并计划在未来对它们进行整合：HotRockit
• 2011 年，JDK7 发布。在 JDK1.7u4 中，正式启用了新的垃圾回收器 G1。
• 2017 年，JDK9 发布。将 G1 设置为默认 Gc，替代 CMS
• 同年，IBM 的 J9 开源，形成了现在的 Open J9 社区
• 2018 年，android 的 Java 侵权案判决，Google 赔偿 Oracle 计 88 亿美元
• 同年，Oracle 宣告 JavaEE 成为历史名词 JDBC、JMS、Servlet 赠予 Eclipse 基金会
• 同年，JDK11 发布，LTS 版本的 JDK，发布革命性的 ZGC，调整 JDK 授权许可
• 2019 年，JDK12 发布，加入 RedHat 领导开发的shenandoah GC

1.9、OracleJDK 和OpenJDK 的区别

    在 JDK11 之前，OracleJDK 中还会存在一些 OpenJDK 中没有的、闭源的功能。但在 JDK11 中，我们可以认为 OpenJDK 和 OracleJDK 代码实质上已经完全一致的程度。

    不过，主流的 JDK 8 在 2019 年 01 月之后就被宣布停止更新了。另外， JDK 11 及以后的版本也不再提供免费的长期支持（LTS），而且 JDK 15 和 JDK 16 也不是一个长期支持的版本，最新的 JDK 15 只支持 6 个月时间，到 2021 年 3 月，所以千万不要把 JDK 15 等非长期支持版本用在生产。所以JDK11是下一个版本之子。

1.10、虚拟机与 Java 虚拟机

1.10.1、虚拟机

    所谓虚拟机（Virtual Machine），就是一台虚拟的计算机。它是一款软件，用来执行一系列虚拟计算机指令。大体上，虚拟机可以分为系统虚拟机和程序虚拟机：

1. 系统虚拟机：大名鼎鼎的 Visual Box，Mware 就属于系统虚拟机，它们完全是对物理计算机的仿真，提供了一个可运行完整操作系统的软件平台。
2. 程序虚拟机：程序虚拟机的典型代表就是 Java 虚拟机，它专门为执行单个计算机程序而设计，在 Java 虚拟机中执行的指令我们称为 Java 字节码指令。

1.10.2、Java虚拟机

    Java 虚拟机是一台执行 Java 字节码的虚拟计算机，它拥有独立的运行机制，其运行的 Java 字节码也未必由 Java 语言编译而成。JVM 平台的各种语言可以共享 Java 虚拟机带来的跨平台性、优秀的垃圾回器，以及可靠的即时编译器。Java 技术的核心就是 Java 虚拟机（JVM，Java Virtual Machine），因为所有的 Java 程序都运行在 Java 虚拟机内部。

    他的作用是Java 虚拟机就是二进制字节码的运行环境，负责装载字节码到其内部，解释/编译为对应平台上的机器指令执行。每一条 Java 指令，Java 虚拟机规范中都有详细定义，如怎么取操作数，怎么处理操作数，处理结果放在哪里。

他的特点：

1. 一次编译，到处运行。
2. 自动内存管理。
3. 自动垃圾回收功能。

JVM 是运行在操作系统之上的，它与硬件没有直接的交互。

1.11、JVM的整体结构

    HotSpot VM 是目前市面上高性能虚拟机的代表作之一，他采用的是解释器与即时编译器并存的架构，在今天，Java 程序的运行性能早已脱胎换骨，已经达到了可以和 C/C++程序一较高下的地步。

    在多线程中，共享方法区和堆的数据，而Java栈、本地方法栈、程序计数器是每个线程独有的。

1.12、Java语言执行步骤

1.13、JVM的结构模型

    Java编译器输入的指令流基本上是分为两种：

1. 一种基于栈的指令集架构。
2. 另外一种指令集架构则是基于寄存器的指令集架构。

1.13.1、基于栈的指令集架构

    他的特点有四点：

• 设计和实现更简单，适用于资源受限的系统（嵌入式的设备，小型设备如机顶盒、打印机）。

• 避开了寄存器的分配难题：使用零地址指令方式分配。

• 指令流中的指令大部分是零地址指令，其执行过程依赖于操作栈。指令集更小，编译器容易实现。

• 不需要硬件支持，可移植性更好，更好实现跨平台。

1.13.2、基于寄存器的指令集架构

• 典型的应用是x86的二进制指令集：比如传统的PC以及Android的Davlik虚拟机

• 指令集架构则完全依赖硬件，可移植性差

• 性能优秀和执行更高效

• 花费更少的指令去完成一项操作

• 在大部分情况下，基于寄存器架构的指令集往往都以一地址指令、二地址指令和三地址指令为主，而基于栈式架构的指令集却是以零地址指令为主

1.14、JVM的生命周期

1.14.1、虚拟机的启动

    Java虚拟机的启动是通过引导类加载器（bootstrap class loader）创建一个初始类（initial class）来完成的，这个类是由虚拟机的具体实现指定的。

1.14.2、虚拟机的执行

• 一个运行中的Java虚拟机有着一个清晰的任务：执行Java程序。

• 程序开始执行时他才运行，程序结束时他就停止。

• 执行一个所谓的Java程序的时候，真真正正在执行的是一个叫做Java虚拟机的进程。

1.14.3、虚拟机的退出

    出现以下的情况会导致虚拟机退出：

• 程序正常执行结束

• 程序在执行过程中遇到了异常或错误而异常终止

• 由于操作系统用现错误而导致Java虚拟机进程终止

• 某线程调用Runtime类或system类的exit方法，或Runtime类的halt方法，并且Java安全管理器也允许这次exit或halt操作。

• 除此之外，JNI（Java Native Interface）规范描述了用JNI Invocation API来加载或卸载 Java虚拟机时，Java虚拟机的退出情况。

1.15、JVM的发展历程

Sun Classic VM

    早在1996年Java1.0版本的时候，Sun公司发布了一款名为sun classic VM的Java虚拟机，它同时也是世界上第一款商用Java虚拟机，JDK1.4时完全被淘汰。，这款虚拟机内部只提供解释器。现在还有及时编译器，因此效率比较低，而及时编译器会把热点代码缓存起来，那么以后使用热点代码的时候，效率就比较高。

    如果使用JIT编译器，就需要进行外挂。但是一旦使用了JIT编译器，JIT就会接管虚拟机的执行系统。解释器就不再工作。解释器和编译器不能配合工作。现在hotspot内置了此虚拟机。

Exact VM

    Exact Memory Management：准确式内存管理，也可以叫Non-Conservative/Accurate Memory Management，为了解决上一个虚拟机问题，jdk1.2时，Sun提供了此虚拟机。拟机可以知道内存中某个位置的数据具体是什么类型。他具备现代高性能虚拟机的维形：

1. 热点探测

2. 编译器与解释器混合工作模式

    但是只在solaris平台短暂使用，其他平台上还是classic vm，所以他英雄气短，终被Hotspot虚拟机替换。

HotSpot VM

    最初由一家名为“Longview Technologies”的小公司设计，1997年，此公司被sun收购；2009年，Sun公司被甲骨文收购。在JDK1.3时，HotSpot VM成为默认虚拟机，目前Hotspot占有绝对的市场地位，称霸武林。

    不管是现在仍在广泛使用的JDK6，还是使用比例较多的JDK8中，默认的虚拟机都是HotSpot，Sun / Oracle JDK 和 OpenJDK 的默认虚拟机，从服务器、桌面到移动端、嵌入式都有应用。

    名称中的HotSpot指的就是它的热点代码探测技术。通过计数器找到最具编译价值代码，触发即时编译或栈上替换，通过编译器与解释器协同工作，在最优化的程序响应时间与最佳执行性能中取得平衡。

JRockit

    他是专注于服务器端应用，它可以不太关注程序启动速度，因此JRockit内部不包含解析器实现，全部代码都靠即时编译器编译后执行。大量的行业基准测试显示，JRockit JVM是世界上最快的JVM。使用JRockit产品，客户已经体验到了显著的性能提高（一些超过了70%）和硬件成本的减少（达50%）。他的优势在于全面的Java运行时解决方案组合。

    JRockit面向延迟敏感型应用的解决方案JRockit Real Time提供以毫秒或微秒级的JVM响应时间，适合财务、军事指挥、电信网络的需要。

    他包含了MissionControl服务套件，它是一组以极低的开销来监控、管理和分析生产环境中的应用程序的工具。说白了就是一个监控。

    在2008年，JRockit被oracle收购，Oracle表达了整合两大优秀虚拟机的工作，大致在JDK8中完成。整合的方式是在HotSpot的基础上，移植JRockit的优秀特性。

J9

    J9的全称：IBM Technology for Java Virtual Machine，简称IT4J，内部代号：J9。市场定位与HotSpot接近，服务器端、桌面应用、嵌入式等多用途VM，广泛用于IBM的各种Java产品。目前，有影响力的三大商用虚拟机之一，也号称是世界上最快的Java虚拟机。在2017年左右，IBM发布了开源J9VM，命名为openJ9，交给EClipse基金会管理，也称为Eclipse OpenJ9。

KVM和CDC / CLDC Hotspot

    Oracle在Java ME产品线上的两款虚拟机为：CDC/CLDC HotSpot Implementation VM。

    KVM（Kilobyte）是CLDC-HI早期产品，目前移动领域地位尴尬，智能机被Android和ios二分天下，他完全没有任何市场。

    KVM简单、轻量、高度可移植，面向更低端的设备上还维持自己的一片市场：

1. 智能控制器、传感器。

2. 老人手机、经济欠发达地区的功能手机。

Azul VM

    前面三大“高性能Java虚拟机”使用在通用硬件平台上这里Azul VW和BEA Liquid VM是与特定硬件平台绑定、软硬件配合的专有虚拟机。他也是高性能Java虚拟机中的战斗机。

    Azul VM是Azul Systems公司在HotSpot基础上进行大量改进，运行于Azul Systems公司的专有硬件Vega系统上的Java虚拟机。每个Azul VM实例都可以管理至少数十个CPU和数百GB内存的硬件资源，并提供在巨大内存范围内实现可控的GC时间的垃圾收集器、专有硬件优化的线程调度等优秀特性。2010年，AzulSystems公司开始从硬件转向软件，发布了自己的Zing JVM，可以在通用x86平台上提供接近于Vega系统的特性。

Liquid VM

    他是由BEA公司开发的，直接运行在自家Hypervisor系统上的高性能Java虚拟机中的战斗机。Liquid VM即是现在的JRockit VE（Virtual Edition），Liquid VM不需要操作系统的支持，或者说它自己本身实现了一个专用操作系统的必要功能，如线程调度、文件系统、网络支持等。随着JRockit虚拟机终止开发，Liquid vM项目也停止了。

Apache Harmony

    Apache也曾经推出过与JDK1.5和JDK1.6兼容的Java运行平台Apache Harmony。它是IBM和Intel联合开发的开源JVM，受到同样开源的OpenJDK的压制，Sun坚决不让Harmony获得JCP认证，最终于2011年退役，IBM转而参与OpenJDK。

    虽然目前并没有Apache Harmony被大规模商用的案例，但是它的Java类库代码吸纳进了Android SDK。

Micorsoft JVM

    微软为了在IE3浏览器中支持Java Applets，开发了Microsoft JVM，他只能在Windows平台下运行。但确是当时Windows下性能最好的Java VM。

    1997年，Sun以侵犯商标、不正当竞争罪名指控微软成功，赔了Sun很多钱。微软WindowsXP SP3中抹掉了其VM。现在Windows上安装的jdk都是HotSpot。

Taobao JVM

    由AliJVM团队发布。阿里是国内使用Java最强大的公司，覆盖云计算、金融、物流、电商等众多领域，需要解决高并发、高可用、分布式的复合问题。有大量的开源产品。他基于OpenJDK 开发了自己的定制版本AlibabaJDK，简称AJDK。是整个阿里Java体系的基石，基于OpenJDK Hotspot VM发布的国内第一个优化、深度定制且开源的高性能服务器版Java虚拟机。

    创新的GCIH（GC invisible heap）技术实现了off-heap，即将生命周期较长的Java对象从heap中移到heap之外，并且GC不能管理GCIH内部的Java对象，以此达到降低GC的回收频率和提升GC的回收效率的目的。GCIH中的对象还能够在多个Java虚拟机进程中实现共享，使用crc32指令实现JVM intrinsic 降低JNI 的调用开销以及PMU hardware 的Java profiling tool 和诊断协助功能和针对大数据场景的ZenGc

    taobao vm应用在阿里产品上性能高，硬件严重依赖intel的cpu，损失了兼容性，但提高了性能，目前已经在淘宝、天猫上线，把oracle官方JvM版本全部替换了。

Dalvik VM

    他谷歌开发的，应用于Android系统，并在Android2.2中提供了JIT，发展迅猛。Dalvik VM只能称作虚拟机，而不能称作“Java虚拟机”，它没有遵循 Java虚拟机规范，不能直接执行Java的Class文件。他是基于寄存器架构，不是jvm的栈架构，执行的是编译以后的dex（Dalvik Executable）文件。执行效率比较高。

    它执行的dex（Dalvik Executable）文件可以通过class文件转化而来，使用Java语法编写应用程序，可以直接使用大部分的Java API等。Android 5.0使用支持提前编译（Ahead of Time Compilation，AoT）的ART VM替换Dalvik VM。

Graal VM

    2018年4月，oracle Labs公开了Graal VM，号称 “Run Programs Faster Anywhere”，野心勃勃。与1995年java的”write once，run anywhere"遥相呼应。

    Graal VM在HotSpot VM基础上增强而成的跨语言全栈虚拟机，可以作为“任何语言” 的运行平台使用。语言包括：Java、Scala、Groovy、Kotlin；C、C++、javascript、Ruby、Python、R等，支持不同语言中混用对方的接口和对象，支持这些语言使用已经编写好的本地库文件。

    工作原理是将这些语言的源代码或源代码编译后的中间格式，通过解释器转换为能被Graal VM接受的中间表示。Graal VM提供Truffle工具集快速构建面向一种新语言的解释器。在运行时还能进行即时编译优化，获得比原生编译器更优秀的执行效率。

如果说HotSpot有一天真的被取代，Graal VM希望最大。但是Java的软件生态没有丝毫变化。

总结

    具体JVM的内存结构，其实取决于其实现，不同厂商的JVM，或者同一厂商发布的不同版本，都有可能存在一定差异。主要以Oracle HotSpot VM为默认虚拟机。