Java并发机制和底层实现原理

Posted 2020-10-07 forever_elf

　　Java代码在编译后会变成Java字节码，字节码被类加载器加载到JVM里，JVM执行字节码转化为汇编指令在CPU上执行。Java中的并发机制依赖于JVM的实现和CPU的指令。

　　

　　Java语言规范第三版中对volatile的定义如下：Java编程语言允许线程访问共享变量，为了确保共享变量能被准确和一致的更新，线程应该确保通过排它锁单独获得这个变量。Java语言提供了volatile。若一个字段被声明为volatile，Java线程内存模型确保所有线程看到这个变量的值是一致的。volatile不会引起线程上下文切换和调度。

 

　　CPU术语

术语	英文	术语描述
内存屏障	memory barries	是一组处理器指令，用于实现对内存操作的顺序限制
缓冲行	cache line	缓存中可以分配的最小存储单位。处理器填写缓存线时会加载整个缓存线，需要使用多个主内存读周期
原子操作	atomic operations	不可中断的一个或一些列操作
缓存行填充	cache line fill	当处理器识别到从内存中读取操作时可缓存的，处理器读取整个缓存行到适当的缓存
缓存命中	cache hit	若进行高速缓存行填充的操作的内存位置仍是下次处理器访问的地址时，处理器从缓存中读取操作数，而不是从内存读取
写命中	write hit	当处理器将操作数写回到一个内存缓存的区域时，它首先会检查这个缓存的内存地址是否在缓存行中，而不是写回到内存，这个操作被称为写命中
写缺失	write misses the cache	一个有效的缓存行被写入到不存在的内存区域

 

 

 

 

 

 

 

　　假设instance是一个volatile变量，instance = new Singleton();

　　转变为汇编为：

　　　　0x01a3deld: movb ￥0x0, 0x1104800(%esi);

　　　　0x01a3de24: lock add1 $0x0,(%esp)

　　有volatile变量修饰的共享变量进行写操作时会有lock字样。Lock前缀的指令在多核处理器下会引发两件事：1）将当前处理器缓存行的数据写回到系统内存 2)这个写回内存的操作会使其他CPU里缓存了该内存地址的数据无效。

　　为了提高处理速度，处理器不直接和内存进行通信，而是先将系统内存的数据读到内部缓存后再进行操作，但操作完不知道何时会写到内存。若声明了volatile的变量进行写操作，JVM会向处理器发送一条Lock前缀的指令，将这个变量所在缓存行的数据写回到系统内存。在多处理器下，为了保证各个处理器的缓存是一致的，就会实现缓存一致性协议，每个处理器通过嗅探在总线上传播的数据来检查自己缓存的值是不是过期了，当处理器发现自己缓存行对应的内存地址被修改，就会将当前处理器的缓存行设置成无效状态，当处理器对这个数据进行修改操作的时候，会重新从系统内存中把数据读到处理器缓存里。

　　

　　volatile的两条实现原则：

　　　　1） Lock前缀指令会引起处理器缓存会写到内存。Lock前缀指令导致在执行指令期间，声言处理器的LOCK#信号。在多处理器环境中，LOCK#信号确保在声言该信号期间，处理器可以独占任何共享内存。LOCK#信号一般不锁总线，而是锁缓存。对于Intel486和Pentium处理器，在锁操作时，总是在总线上声言LOCK#信号。但在P6和目前的处理器中，若访问的内存区域已经缓存在处理器内部，则不会声言LOCK#信号。相反，它会锁定这块内存预期的缓存并会写到内存，并使用缓存一致性机制来确保修改的原子性，此操作被称为“缓存锁定”，缓存一致性机制会阻止同时修改由两个以上处理器缓存的内存区域数据。

　　　　2）一个处理器的缓存回写到内存会导致其他处理器的缓存无效。IA-32处理器和Intel64处理器使用MESI(修改，独占，共享，无效)控制协议去维护内部缓存和其他处理器缓存的一致性。在多核处理器系统中进行操作的时候，IA-32和Intel64处理器能嗅探其他处理器访问系统内存和他们的内部缓存。处理器使用嗅探技术保证它的内部缓存，系统内存和其他处理器的缓存的数据在总是线上保持一致。例如，在Pentium和P6 family处理器中，若通过嗅探一个处理器来检测其他处理器打算写内存地址，而这个地址当前处于共享状态，那么正在嗅探的处理器将使它的缓存行无效，在下次访问相同内存地址时，强制执行缓存行填充。

　　

　　volatile的优化

　　　　JDK7的concurrent包中新增了LinkedTransferQueue，它在使用volatile变量时用追加字节码的方式来优化队列出队和入队的性能。LinkedTransferQueue使用一个内部类类型PaddedAtomicReference<QNode>来定义队列的头结点和为节点，而这个内部类相对于父类AtomicReference只做了一件事，就是将共享变量追加到64字节。因为Intel Core I7，Core，Atom和NetBurst几Core Solo和Pentium M处理器的L1， L2或L3缓存的高速缓存行是64个字节宽，不支持部分填充缓存行。若队列的头节点或尾节点不足64字节。处理器将他们都读到同一个高速缓存行中，在多处理器下每个处理器都会缓存同样的头、尾节点。当一个处理器试图修改头节点时，会将整个缓存行锁定。这样在缓存一致性机制的作用下，会导致其他处理器不能访问自己高速缓存中的尾节点，而队列的入队和出队操作则需要不停修改头节点和尾节点，所在在多处理器的情况下将会严重影响到队列的入队和出队效率。使用追加64字节的方式来填满高速缓冲区的缓存行，避免头节点和尾节点加载到统一缓存行，使头，尾节点在修改时不会互相锁定。

　　　　在下面两种情况使用volatile变量不应该追加到64字节：

　　　　　　1） 缓存行非64字节宽的处理器。若P6系列和奔腾处理器。他们的L1和L2高速缓存行是32个字节宽

　　　　　　2）共享变量不会被频繁的写。追加字节码的方式需要处理器读取跟多的字节到高速缓冲区，会有一定性能消耗。但Java7会淘汰或重新排列无用字段。

 

　　synchronized的实现原理

　　　　Java中的每一个对象都可以作为锁。具体表现为以下3种方式：

　　　　　　1. 对于普通同步方法，锁是当前实例对象

　　　　　　2. 对于静态同步方法，锁是当前类的Class对象

　　　　　　3. 对于同步方法快，锁是Synchronized括号里的配置对象

　　　　从JVM规范中可以看到JVM基于进入和退出Monitor对象来实现方法同步和代码块同步。但两者的实现细节不一样。代码块同步是使用monitorenter和monitorexit指令实现的，而方法同步是使用另外一种方式实现的。monitorenter指令在编译后插入到同步代码块的开始位置，而monitorexit是插入到方法结束出和异常处，JVM要保证每个monitorenter必须有对应的monitorexit与之配对。任何对象都有一个monitor与之关联，并且一个monitor被持有后，它将处于锁定状态。线程执行到monitorenter指令后。将会尝试获取对象所对应的monitor的所有权，即尝试获得对象的锁。

 

　　Synchronized用的锁是存在Java对象头里的。若对象是数组类型，则虚拟机用3个字宽(word)存储对象头，若对象是非数组类型，则用2字宽存储对象头。在32位虚拟机中，1字宽等于4字节，即32位。

　　　　Java对象头的长度

长度	内容	说明
32/64 bit	Mark Word	存储对象的hashCode或锁信息等
32/64 bit	Class Metadata Address	存储到对象类型数据的指针
32/64 bit	Array length	数组的长度

 

 

 

 

　　Java对象头里的Mark Word里默认存储对象的HashCode，分代年龄和锁标记位。

　　　　32位Mark Word的默认存储

锁状态	25bit	4bit	1bit是否是偏向锁	2bit锁标志位
无锁状态	对象的hashCode	对象分代年龄	0	01

 

 

 

　　Mark Word的状态变化

锁状态	25bit 23bit/2bit	4bit	1bit 是否是偏向锁	2bit 锁标志位
轻量级锁	指向栈中锁记录的指针			00
重量级锁	指向互斥量的指针			10
GC标记	空			11
偏向锁	线程ID|Epoch|对象分代年龄|1			01

 

 

 

 

 

 

　　在64位虚拟机下，Mark Word是64位大小的 

锁状态	25bit	31bit	1bit cms_free	4bit 分代年龄	1bit 偏向锁	2bit 锁标志位
无锁	unused	hashCode			0	01
偏向锁	ThreadID(54bit)Epoch(2bit)				1	01

 

 

 

 

 

　　Java SE1.6为了减少获得锁和释放锁带来的性能消耗，引入了“偏向锁”和“轻量级锁”，在Java SE1.6中，锁一共有4种状态，级别从低到高一次是：无状态锁，偏向锁状态，轻量级锁状态和重量级锁状态。锁可以升级但不可以被降级，目的是为了提高获得锁和释放锁的效率。

　　

　　偏向锁：

　　　　当一个线程访问同步块并获取锁时，会在对象头和栈帧中的锁记录里存储锁偏向的线程ID，以后该线程在进入和退出同步块时不需要进行CAS操作来加锁或解锁，只需要简单的测试下对象头的Mark Word里面是否存储着指向当前线程的偏向锁。若测试成功，则表示该线程已经获得了锁。若测试失败，则需在测试下Mark Word中偏向锁的标识是否设置成1，若没有，则使用CAS竞争锁，若设置了，则尝试使用CAS将对象头的偏向锁指向当前线程。

　　　　偏向锁使用了等到竞争出现才释放锁的机制，所以当有其他线程尝试竞争偏向锁时，持有偏向锁的线程才会释放锁。偏向锁的撤销，需要等待全局安全点(当前时间点没有正在执行的字节码)。它会首先暂停拥有偏向锁的线程，然后检查持有偏向锁的线程是否还活着，若线程不处于活动状态，则将对象头设置成无锁状态；若线程仍然活着，拥有偏向锁的栈会被执行，遍历偏向对象的锁记录，栈中的所记录和对象头的Mark Word要么重新偏向于其他线程，要么恢复到无锁或标记对象不合适作为偏向锁，最后唤醒暂停的线程

　　　　偏向锁在Java 6和Java 7里是默认开启的，但它在应用程序启动几秒后才激活，可以使用JVM参数来关闭延迟：-XX:BiasedLockingStartipDelay=0。通过JVM关闭偏向锁:-XX:-UseBiasedLocking=false，此时程序会默认进入轻量级锁状态。

　　

　　轻量级锁

　　　　线程在执行同步块之前，JVM会现在当前线程的栈帧中创建用于存储锁记录的空间，并将对象头中的Mark Word复制到所记录中，官方成为Displaced Mark Word。然后线程尝试使用CAS将对象头中的Mark Word替换为指向锁记录的指针。若成功，当前线程获得锁，若失败，表示其他线程竞争锁，当前线程便尝试使用自旋来获取锁。

　　　　轻量级解锁时，会使用原子的CAS操作将Displaced Mark Word替换回到对象头，若成功，则是没有竞争发生。若失败，表示当前锁存在竞争，锁就会彭长成重量级锁。

　　

　　　　因为自旋会消耗CPU，为了避免无用的自旋，一旦锁升级成重量级锁，就不会再恢复到轻量级锁的状态。当锁处于重量级状态下，其他线试图获取锁时，会被阻塞住，当持有锁的线程释放锁之后会唤醒这些线程，被唤醒的线程就会进行新一轮的夺锁之争。

锁	优点	缺点	使用场景
偏向锁	加锁和解锁不需要额外的消耗，和执行非同步方法相比仅存在纳米级的差距	若线程间存在锁竞争会带来额外的锁撤销的消耗	适用于只有一方线程访问同步快场景
轻量级锁	竞争的线程不会阻塞，提高了程序的响应速度	若始终得不到锁竞争的线程使用自旋会消耗CPU	追求响应时间；同步快执行速度非常快
重量级锁	线程竞争不适用自旋，不会消耗CPU	线程阻塞；响应时间慢	追求吞吐量；同步块执行速度较长

 

 

 

 

　　原子操作的实现原理

　　　　原子操作时不可被中断的一个或一系列操作。

术语名称	英文	解释
缓存行	cache line	缓存的最小操作单位
比较并交换	compare and swap	CAS操作需要输入两个数值，一个旧值和一个新值，在操作期间先比较旧值有没有变化，若没有变化才交换成新值，发生了变化则不交换
CPU流水线	CPU pipeline	CPU流水线的工作方式就像工业生产上的装配流水线，在CPU中由5~6个不同功能的电路单元组成一条指令处理流水线，然后将一条X86指令分成5~6步后再由这些电路单元分别执行，这样就能实现在一个CPU时钟周期完成一条指令，因此提高CPU的运算速度
内存顺序冲突	momory order violation	内存顺序冲突一般是由假共享引起的，假共享是指多个CPU同时修改同一个缓存行的不同部分而引起其中一个CPU的操作无效，当出现这个内存顺序冲突时，CPU必须清空流水线

 

　　　　32位IA-32处理器使用基于对缓存加锁或总线加锁的方式来实现多处理器之间的原子操作。首先处理器会自动保证基本的内存操作的原子性。处理器保证从系统内存中读取或写入一个字节是原子的，意思是当一个处理器读取一个字节时，其他处理器不能访问这个字节的内存地址。Pentium6和最新的处理器能自动保证单处理器对统一个缓存行里进行16/32/64位的操作是原子的。但复杂的内存操作处理器是不能保证其原子性的，比如跨总线宽度，跨多个缓存行和跨页表的访。处理器提供总线锁定和缓存锁定两个机制来保证复杂内存操作的内存操作的原子性。

　　　　若多处理器同时对共享变量进行读改写操作，那么共享变量就会被多个处理器同时进行操作，这样读改写操作就不是原子的。要保证读改写共享变量的操作时原子的，就必须保证一个CPU改写变量时，其余CPU不能操作缓存了该共享变量内存地址的缓存。总线锁就是使用处理器提供的一个LOCK#信号，当以处理器在总线上输出此信号时，其他处理器的请求将被阻塞住，那么该处理器可以独占共享内存。

　　　　通过缓存锁定来保证原子性。在同一时刻，只需要保证对某个内存地址的操作时原子性即可，但总线锁定把CPU和内存之间的通信锁住了，这使得锁定期间其他处理器不能操作其他内存地址的数据，所以总线锁定的开销比较大，目前处理器在某些场合下使用缓存锁定代替总线锁定来进行优化。频繁使用内存会缓存在处理器的L1，L2和L3高速缓存里，那么原子操作就可以直接在处理器内部缓存中进行，并不需要声明总线锁，在Pentium 6和目前的处理器中可以使用“缓存锁定”的方式来实现复杂的原子性。缓存锁定是指在内存区域若被缓存在处理器的缓存行中，并且在Lock操作期间被锁定，那么当它执行锁操作回写到内存时，处理器不在总线上声明Lock#信号，而是修改内部的内存地址，并允许它的缓存一致性机制来保证操作的原子性，因此缓存一致性机制会阻止同时修改由两个以上处理器缓存的内存区域数据，当其他处理器回写已被锁定的缓存行的数据时，会使缓存行无效。

　　　　有两种情况下处理器不会使用缓存锁定。第一种情况是当操作的数据不能被缓存在处理器内部，或操作的数据跨多个缓存行时，则处理器会调用总线锁定。第二种情况是有些处理器不支持缓存锁定。对于Intel 486和Pentium处理器，就算锁定的内存区域在处理器的缓存行中也会调用总线锁定。

　　　　Java中可以通过锁和循环CAS的方式来实现原子操作。

　　　　　　JVM中的CAS操作时利用了处理器提供的CMPXCHG指令实现的。自旋的CAS实现的基本思路是循环进行CAS操作直到成功为止。

private AtomicInteger atomicI = new AtomicInteger(0);
private int i = 0;
public static void main(String[] args){
    final Counter cas = new Counter();
    List<Thread> ts = new ArrayList<Thread>(600);
    long start = System.currentTimeMills();
    for(int j = 0; j < 100; j ++){
        Thread t = new Thread(new Runnable(){
               public void run(){
                   for(int i = 0; i < 10000; i++){
                       cas.count();
                       cas.safeCount();
                   }
               }
           });
    }
    for(Thread t : ts){
        t.start();
    }

    for(Thread t : ts){
       try{
           t.join();
       }catch(InterupptedException e){
           e.printStackTrace();
       }
    }
    System.out.println(cas.i);
    System.out.println(cas.atomicI.get());
    System.out.println(System.currentTimeMillis() - start);
}

private void safeCount(){
    for(;;){
         int i = atomicI.get();
         boolean suc = atomicI.compareAndSet(i, ++i);
         if(suc){
             break;
         }
    }
}

private void count(){
    i++;
}

　　　　CAS实现原子操作的三大问题：

　　　　　　　ABA问题。因此CAS需要在操作值时检查值有没有变化，若没有变化则更新。单弱一个值原来是A，变成了B又变成了A，那么使用CAS进行检查时会发现它的值没有变化。ABA问题的解决思路是使用版本号。在变量前面加上版本号，每次变量更新时都把版本号加1。Java 1.5开始，JDK的Atomic包提供了AtomicStampedReference类来解决ABA问题。这个类的compareAndSet先检查当前引用是否等于预期引用，并且检查当前标志是否等于预期标志，若全相等，则以原子方式将该引用和该标志的值设为给定的更新值。

public boolean compareAndSet{
     V expectedReference,
     V newReference,
     int expectedStamp,
     int newStamp
}

　　　　　　　　循环时间长开销大。自旋CAS若长时间不成功，会给CPU带来非常大的执行开销。若JVM支持处理器的pause指令则效率会有一定的提升。pause指令有两个作用：它可以延迟流水线执行指令(de-pipeline)，使CPU不会消耗过多的执行资源，延迟的时间取决于具体实现的版本，在一些处理器上延迟时间是零。它还可以避免在退出循环时因内存顺序冲突(Memory Order Violation)而引起CPU流水线被清空(CPU Pipeline Flush)，从而提高CPU的执行效率。

　　　　　　　　只能保证一个共享变量的原子操作。当对一个共享变量执行操作时，可以使用循环CAS的方式保证原子操作，但对多个共享变量操作时，循环CAS就无法保证操作的原子性，此时可以用锁。或者将多个共享变量组成一个共享变量来操作。JAVA 1.5开始，JDK提供了AtomicReference类来保证引用对象之间的原子性，可以把多个变量放在一个对象里进行CAS操作。

　　

　　　　使用锁机制来实现原子操作

　　　　　　锁机制保证了只有获得锁的线程才能够操作锁定的内存区域。JVM内部实现了很多种锁机制，有偏向锁，轻量级锁和互斥锁。JVM实现锁的方式都是用了循环CAS，即当一个线程想进入到同步块时使用循环CAS来获取锁，当它退出同步块是使用循环CAS释放锁。