Dubbo剖析-SPI机制

Posted 程序员泥瓦匠

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Dubbo剖析-SPI机制相关的知识,希望对你有一定的参考价值。

文章要点

  1. 什么是spi

  2. dubbo为什么实现自己的spi

  3. dubbo的adaptive机制

  4. dubbo的IOC和AOP

  5. dubbo动态编译机制

  6. dubbo与spring的融合


一、什么是spi

SPI 全称为 (Service Provider Interface) ,是JDK内置的一种服务提供发现机制。SPI是一种动态替换发现的机制。我们经常遇到的就是java.sql.Driver接口,不同的数据库不同的Driver实现。

如何应用? 当服务的提供者提供了一种接口的实现之后,需要在classpath下的META-INF/services/目录里创建一个以服务接口命名的文件,这个文件里的内容就是这个接口的具体的实现类。当程序需要这个服务的时候,调用java.util.ServiceLoader加载spi配置文件即可获取spi文件里所有的实现类。

举例说明 mysql  在mysql-connector-java-5.1.45.jar中,META-INF/services目录下会有一个名字为java.sql.Driver的文件:

com.mysql.jdbc.Driver com.mysql.fabric.jdbc.FabricMySQLDriver

驱动加载 DriverManager

 
   
   
 
  1. static {

  2.    loadInitialDrivers();

  3.    println("JDBC DriverManager initialized");

  4. }


  5. //loadInitialDrivers

  6. AccessController.doPrivileged(new PrivilegedAction<Void>() {

  7.    public Void run() {

  8.        ServiceLoader<Driver> loadedDrivers = ServiceLoader.load(Driver.class);

  9.        Iterator<Driver> driversIterator = loadedDrivers.iterator();

可参考:spi详解

二、dubbo为什么实现自己的spi

为什么dubbo要实现自己的spi?

  1. JDK 是加载所有的spi类,没有用到的会浪费

  2. JDK spi不支持缓存

  3. JDK spi通过for循环进行加载,dubbo支持按照key进行获取spi对象

三、dubbo 的adaptive机制

Adaptive如字面意思,适配的类。dubbo的spi入口ExtensionLoader.getExtensionLoader,当我们传入type,ExtensionLoader扫描对应的spi文件,如果类加@Adaptive注解则直接返回,反之自动生成对应适配类。

调用ExtensionLoader的地方有多个,下面列两个,有兴趣的可以自己跟踪下代码

//com.alibaba.dubbo.container.Main 启动入口 private static final ExtensionLoader loader = ExtensionLoader.getExtensionLoader(Container.class);

//com.alibaba.dubbo.config.ServiceConfig private static final Protocol protocol = ExtensionLoader.getExtensionLoader(Protocol.class).getAdaptiveExtension();

调用链路 |--ExtensionLoader.getAdaptiveExtension |----ExtensionLoader.createAdaptiveExtension |------ExtensionLoader.injectExtension |--------ExtensionLoader.getAdaptiveExtensionClass |----------ExtensionLoader.getExtensionClasses |------------ExtensionLoader.loadExtensionClasses |--------------ExtensionLoader.loadFile |----------ExtensionLoader.createAdaptiveExtensionClass

getAdaptiveExtensionClass,获取Adaptive适配类,返回 cachedAdaptiveClass,这个在 spi加载的时候会提取出来并缓存到cachedAdaptiveClass,如果没有Adaptive类则自动生成。

先看下getExtensionClasses调用的loadExtensionClasses的实现逻辑

 
   
   
 
  1. private Map<String, Class<?>> loadExtensionClasses() {

  2.    final SPI defaultAnnotation = type.getAnnotation(SPI.class);

  3.    if (defaultAnnotation != null) {

  4.        String value = defaultAnnotation.value();

  5.        if (value != null && (value = value.trim()).length() > 0) {

  6.            String[] names = NAME_SEPARATOR.split(value);

  7.            if (names.length > 1) {

  8.                throw new IllegalStateException("more than 1 default extension name on extension " + type.getName()

  9.                        + ": " + Arrays.toString(names));

  10.            }

  11.            if (names.length == 1) cachedDefaultName = names[0];

  12.        }

  13.    }


  14.    //将所有的spi缓存到extensionClasses

  15.    Map<String, Class<?>> extensionClasses = new HashMap<String, Class<?>>();

  16.    loadFile(extensionClasses, DUBBO_INTERNAL_DIRECTORY);

  17.    loadFile(extensionClasses, DUBBO_DIRECTORY);

  18.    loadFile(extensionClasses, SERVICES_DIRECTORY);

  19.    return extensionClasses;

  20. }

loadFile

加载对应路径下的spi文件里的class并存储到缓存变量里

加载的路径

DUBBOINTERNALDIRECTORY = META-INF/dubbo/internal/ DUBBODIRECTORY = META-INF/dubbo/ SERVICESDIRECTORY = META-INF/services/

文件名

目录 + type.getName();

三个缓存变量

cachedAdaptiveClass 如果这个class含有adaptive注解就赋值,例如ExtensionFactory,而例如Protocol在这个环节是没有的。

cachedWrapperClasses 只有当该class无adative注解,并且构造函数包含目标接口(type)类型,例如protocol里面的spi就只有ProtocolFilterWrapper和ProtocolListenerWrapper能命中

cachedActivates 剩下的类,类有Activate注解

cachedNames 剩下的类就存储在这里

代码视图

 
   
   
 
  1. private void loadFile(Map<String, Class<?>> extensionClasses, String dir) {

  2.    //省略若干代码


  3.    Class<?> clazz = Class.forName(line, true, classLoader);


  4.    //查看类或方法是否包含Adaptive注解,如:AdaptiveExtensionFactory

  5.    if (clazz.isAnnotationPresent(Adaptive.class)) {

  6.        if (cachedAdaptiveClass == null) {

  7.            cachedAdaptiveClass = clazz;

  8.        } else if (!cachedAdaptiveClass.equals(clazz)) {

  9.            throw new IllegalStateException("More than 1 adaptive class found: "

  10.                    + cachedAdaptiveClass.getClass().getName()

  11.                    + ", " + clazz.getClass().getName());

  12.        }

  13.    } else {

  14.        try {

  15.            //判断该类是否有type参数的构造方法,如ProtocolFilterWrapper,ProtocolListenerWrapper

  16.            clazz.getConstructor(type);

  17.            Set<Class<?>> wrappers = cachedWrapperClasses;

  18.            if (wrappers == null) {

  19.                cachedWrapperClasses = new ConcurrentHashSet<Class<?>>();

  20.                wrappers = cachedWrapperClasses;

  21.            }

  22.            //添加到 cachedWrapperClasses

  23.            wrappers.add(clazz);

  24.        } catch (NoSuchMethodException e) {

  25.            clazz.getConstructor();

  26.            if (name == null || name.length() == 0) {

  27.                //spi没有key的情况下, 读取注解名

  28.                name = findAnnotationName(clazz);

  29.                if (name == null || name.length() == 0) {

  30.                    if (clazz.getSimpleName().length() > type.getSimpleName().length()

  31.                            && clazz.getSimpleName().endsWith(type.getSimpleName())) {

  32.                        //读取 simpleName的一部分作为name  如 com.alibaba.dubbo.rpc.protocol.http.HttpProtocol

  33.                        name = clazz.getSimpleName().substring(0, clazz.getSimpleName().length() - type.getSimpleName().length()).toLowerCase();

  34.                    } else {

  35.                        throw new IllegalStateException("No such extension name for the class " + clazz.getName() + " in the config " + url);

  36.                    }

  37.                }

  38.            }

  39.            String[] names = NAME_SEPARATOR.split(name);

  40.            if (names != null && names.length > 0) {

  41.                //判断是否类上有Activate 注解  

  42.                Activate activate = clazz.getAnnotation(Activate.class);

  43.                if (activate != null) {

  44.                    cachedActivates.put(names[0], activate);

  45.                }

  46.                for (String n : names) {

  47.                    if (!cachedNames.containsKey(clazz)) {

  48.                        //上面的逻辑如果都没有符合的,加入到 cachedNames

  49.                        cachedNames.put(clazz, n);

  50.                    }

  51.                    Class<?> c = extensionClasses.get(n);

  52.                    if (c == null) {

  53.                        extensionClasses.put(n, clazz);

  54.                    } else if (c != clazz) {

  55.                        throw new IllegalStateException("Duplicate extension " + type.getName() + " name " + n + " on " + c.getName() + " and " + clazz.getName());

  56.                    }

  57.                }

  58.            }

  59.        }

  60.    }


  61.    //省略若干代码

  62. }

经过spi文件的加载,对应的class都已经缓存,最后调用ExtensionLoader.getAdaptiveExtension返回,getAdaptiveExtension方法会判断 cachedAdaptiveInstance 是否为空如果不为空则返回反之则生成对应的 Adaptive类,生成逻辑见下方第五小节。

四、dubbo 的IOC和AOP

 
   
   
 
  1. private T createExtension(String name) {

  2.    //从缓存里获取class

  3.    Class<?> clazz = getExtensionClasses().get(name);

  4.    if (clazz == null) {

  5.        throw findException(name);

  6.    }

  7.    try {

  8.        //从缓存获取class实例

  9.        T instance = (T) EXTENSION_INSTANCES.get(clazz);

  10.        if (instance == null) {

  11.            EXTENSION_INSTANCES.putIfAbsent(clazz, (T) clazz.newInstance());

  12.            instance = (T) EXTENSION_INSTANCES.get(clazz);

  13.        }

  14.        //模仿spring做的IOC注入

  15.        injectExtension(instance);


  16.        Set<Class<?>> wrapperClasses = cachedWrapperClasses;

  17.        if (wrapperClasses != null && wrapperClasses.size() > 0) {

  18.            for (Class<?> wrapperClass : wrapperClasses) {

  19.                //对instance进行包装,这里使用到aop

  20.                instance = injectExtension((T) wrapperClass.getConstructor(type).newInstance(instance));

  21.            }

  22.        }

  23.        return instance;

  24.    } catch (Throwable t) {

  25.        throw new IllegalStateException("Extension instance(name: " + name + ", class: " +

  26.                type + ")  could not be instantiated: " + t.getMessage(), t);

  27.    }

  28. }

createExtension 从cachedClasses 获得class名

EXTENSION_INSTANCES 实例对象缓存

getExtension(String name)返回的是 get出来的对象wrapper对象,例如protocol就是ProtocolFilterWrapper和ProtocolListenerWrapper其中一个。

injectExtension(T instance)//dubbo的IOC反转控制,就是从spi或spring 容器里面获取对象并赋值。

IOC dubbo的IOC反转控制,就是从spi和spring里面提取对象赋值。 |--injectExtension(T instance) |----objectFactory.getExtension(pt, property) |------SpiExtensionFactory.getExtension(type, name) |--------ExtensionLoader.getExtensionLoader(type) |--------loader.getAdaptiveExtension() |------SpringExtensionFactory.getExtension(type, name) |--------context.getBean(name)

 
   
   
 
  1. private T injectExtension(T instance) {

  2.    try {

  3.        if (objectFactory != null) {

  4.            for (Method method : instance.getClass().getMethods()) {

  5.                //获取set开头的方法

  6.                if (method.getName().startsWith("set")

  7.                        && method.getParameterTypes().length == 1

  8.                        && Modifier.isPublic(method.getModifiers())) {

  9.                    Class<?> pt = method.getParameterTypes()[0];

  10.                    try {

  11.                        String property = method.getName().length() > 3 ? method.getName().substring(3, 4).toLowerCase() + method.getName().substring(4) : "";

  12.                        //获取对应的对象,这里有SpringExtensionFactory 和 SpiExtensionFactory两种实现

  13.                        //如果SpiExtensionFactory不支持的则通过SpringExtensionFactory 从spring容器中获取实例对象

  14.                        Object object = objectFactory.getExtension(pt, property);

  15.                        if (object != null) {

  16.                            //set注入

  17.                            method.invoke(instance, object);

  18.                        }

  19.    //省略部分代码

  20.    return instance;

  21. }

AOP AOP的简单设计, createExtension的aop代码实现

 
   
   
 
  1. //这里获取当前spi下所有 包装类型,这里其实就是一个装饰者模式的运用,可以参考ProtocolFilterWrapper

  2. Set<Class<?>> wrapperClasses = cachedWrapperClasses;

  3. if (wrapperClasses != null && wrapperClasses.size() > 0) {

  4.    for (Class<?> wrapperClass : wrapperClasses) {

  5.        //将instance装饰完成后返回

  6.        instance = injectExtension((T) wrapperClass.getConstructor(type).newInstance(instance));

  7.    }

  8. }

五、dubbo的动态编译

以 Protocol的spi 举例子

 
   
   
 
  1. com.alibaba.dubbo.config.ServiceConfig

  2. private static final Protocol protocol = ExtensionLoader.getExtensionLoader(Protocol.class).getAdaptiveExtension();

|--ExtensionLoader.getAdaptiveExtensionClass |----ExtensionLoader.createAdaptiveExtensionClass |------ExtensionLoader.createAdaptiveExtensionClassCode

 
   
   
 
  1. private Class<?> getAdaptiveExtensionClass() {

  2.    getExtensionClasses();


  3.    //如果缓存里有 Adaptive类则直接返回

  4.    if (cachedAdaptiveClass != null) {

  5.        return cachedAdaptiveClass;

  6.    }


  7.    //如果没有Adaptive类,就自动生成

  8.    return cachedAdaptiveClass = createAdaptiveExtensionClass();

  9. }


  10. private Class<?> createAdaptiveExtensionClass() {

  11.    //生成类 代码文本

  12.    String code = createAdaptiveExtensionClassCode();

  13.    ClassLoader classLoader = findClassLoader();


  14.    //获取Compiler的spi 类

  15.    com.alibaba.dubbo.common.compiler.Compiler compiler = ExtensionLoader.getExtensionLoader(com.alibaba.dubbo.common.compiler.Compiler.class).getAdaptiveExtension();


  16.    //编译代码  default=javassist

  17.    return compiler.compile(code, classLoader);

  18. }

createAdaptiveExtensionClassCode 主要生成 Protocol 的 Adaptive类java代码,Protocol的默认协议是 dubbo

@SPI("dubbo") public interface Protocol {

只对Protocol带有 @Adaptive 注解的方法写入实现体,其它方法的实现则抛出异常,生成的代码样例如下

 
   
   
 
  1. package com.alibaba.dubbo.rpc;


  2. import com.alibaba.dubbo.common.extension.ExtensionLoader;


  3. public class Protocol$Adpative implements com.alibaba.dubbo.rpc.Protocol {

  4.    public void destroy() {

  5.        throw new UnsupportedOperationException(

  6.            "method public abstract void com.alibaba.dubbo.rpc.Protocol.destroy() of interface com.alibaba.dubbo.rpc.Protocol is not adaptive method!");

  7.    }


  8.    public int getDefaultPort() {

  9.        throw new UnsupportedOperationException(

  10.            "method public abstract int com.alibaba.dubbo.rpc.Protocol.getDefaultPort() of interface com.alibaba.dubbo.rpc.Protocol is not adaptive method!");

  11.    }


  12.    public com.alibaba.dubbo.rpc.Exporter export(com.alibaba.dubbo.rpc.Invoker arg0) throws com.alibaba.dubbo.rpc.RpcException {

  13.        if (arg0 == null)

  14.            throw new IllegalArgumentException("com.alibaba.dubbo.rpc.Invoker argument == null");

  15.        if (arg0.getUrl() == null)

  16.            throw new IllegalArgumentException("com.alibaba.dubbo.rpc.Invoker argument getUrl() == null");

  17.        com.alibaba.dubbo.common.URL url = arg0.getUrl();


  18.        //提取url里的协议,如果为空则使用默认协议 dubbo 。 该行注释不是生成出来的。      

  19.        String extName = (url.getProtocol() == null ? "dubbo" : url.getProtocol());

  20.        if (extName == null)

  21.            throw new IllegalStateException("Fail to get extension(com.alibaba.dubbo.rpc.Protocol) name from url("

  22.                                            + url.toString() + ") use keys([protocol])");

  23.        com.alibaba.dubbo.rpc.Protocol extension = (com.alibaba.dubbo.rpc.Protocol) ExtensionLoader

  24.            .getExtensionLoader(com.alibaba.dubbo.rpc.Protocol.class).getExtension(extName);

  25.        return extension.export(arg0);

  26.    }


  27.    public com.alibaba.dubbo.rpc.Invoker refer(java.lang.Class arg0,

  28.                                               com.alibaba.dubbo.common.URL arg1) throws com.alibaba.dubbo.rpc.RpcException {

  29.        if (arg1 == null)

  30.            throw new IllegalArgumentException("url == null");

  31.        com.alibaba.dubbo.common.URL url = arg1;

  32.        String extName = (url.getProtocol() == null ? "dubbo" : url.getProtocol());

  33.        if (extName == null)

  34.            throw new IllegalStateException("Fail to get extension(com.alibaba.dubbo.rpc.Protocol) name from url("

  35.                                            + url.toString() + ") use keys([protocol])");

  36.        com.alibaba.dubbo.rpc.Protocol extension = (com.alibaba.dubbo.rpc.Protocol) ExtensionLoader

  37.            .getExtensionLoader(com.alibaba.dubbo.rpc.Protocol.class).getExtension(extName);

  38.        return extension.refer(arg0, arg1);

  39.    }

  40. }

最后调用 JavassistCompiler.compile 方法进行编译,需要将java源码编译成二进制class并利用classloader加载至内存,这样我们的程序才能调用这个类。

六、dubbo与spring的融合

容器的启动 com.alibaba.dubbo.container.Main dubbo启动入口, Container的默认策略是spring

spring=com.alibaba.dubbo.container.spring.SpringContainer

main方法的实现体会调用 SpringContainer.start方法,方法的实现体就是常规的spring容器使用姿势

 
   
   
 
  1. public void start() {

  2.    String configPath = ConfigUtils.getProperty(SPRING_CONFIG);

  3.    if (configPath == null || configPath.length() == 0) {

  4.        configPath = DEFAULT_SPRING_CONFIG;

  5.    }

  6.    context = new ClassPathXmlApplicationContext(configPath.split("[,\\s]+"));

  7.    context.start();

  8. }

dubbo schema

 
   
   
 
  1. <?xml version="1.0" encoding="UTF-8"?>

  2. <beans xmlns="http://www.springframework.org/schema/beans"

  3.       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

  4.       xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"

  5.       xsi:schemaLocation="http://www.springframework.org/schema/beans        http://www.springframework.org/schema/beans/spring-beans.xsd        http://code.alibabatech.com/schema/dubbo        http://code.alibabatech.com/schema/dubbo/dubbo.xsd">



  6.    <!-- 提供方应用信息,用于计算依赖关系 -->

  7.    <dubbo:application name="hello-world-app"/>


  8.    <dubbo:registry address="zookeeper://127.0.0.1:2181" check="false" client="zkclient" />


  9.    <!-- 用dubbo协议在20880端口暴露服务 -->

  10.    <dubbo:protocol name="dubbo" port="20880"/>


  11.    <!-- 声明需要暴露的服务接口 -->

  12.    <dubbo:service interface="com.youzan.dubbo.api.DemoService"

  13.                   class="com.youzan.dubbo.provider.DemoServiceImpl"/>


  14. </beans>

这是一个常见的dubbo服务 xml,这些dubbo标签是对spring的拓展。 spring的拓展约定,需要有三个文件

dubbo.xsd 定义 dubbo xml标签及xml节点约定 spring.schemas 定义 namespace和xsd的对应关系 spring.handlers 指定 namespace的xml解析类

spring.handlers的文件内容

http\://code.alibabatech.com/schema/dubbo=com.alibaba.dubbo.config.spring.schema.DubboNamespaceHandler

 
   
   
 
  1. public class DubboNamespaceHandler extends NamespaceHandlerSupport {


  2.    static {

  3.        Version.checkDuplicate(DubboNamespaceHandler.class);

  4.    }


  5.    public void init() {

  6.        registerBeanDefinitionParser("application", new DubboBeanDefinitionParser(ApplicationConfig.class, true));

  7.        registerBeanDefinitionParser("module", new DubboBeanDefinitionParser(ModuleConfig.class, true));

  8.        registerBeanDefinitionParser("registry", new DubboBeanDefinitionParser(RegistryConfig.class, true));

  9.        registerBeanDefinitionParser("monitor", new DubboBeanDefinitionParser(MonitorConfig.class, true));

  10.        registerBeanDefinitionParser("provider", new DubboBeanDefinitionParser(ProviderConfig.class, true));

  11.        registerBeanDefinitionParser("consumer", new DubboBeanDefinitionParser(ConsumerConfig.class, true));

  12.        registerBeanDefinitionParser("protocol", new DubboBeanDefinitionParser(ProtocolConfig.class, true));

  13.        registerBeanDefinitionParser("service", new DubboBeanDefinitionParser(ServiceBean.class, true));

  14.        registerBeanDefinitionParser("reference", new DubboBeanDefinitionParser(ReferenceBean.class, false));

  15.        registerBeanDefinitionParser("annotation", new DubboBeanDefinitionParser(AnnotationBean.class, true));

  16.    }


  17. }

这里的各个标签对应都有对应的 parser,在parse方法里,走的spring的一套,将xml信息组装成BeanDefinition返回,接着由spring容器把对应的类进行实例化。

文章推荐:

                  

长按二维码,扫扫关注哦

✬如果你喜欢这篇文章,欢迎分享和点赞✬

以上是关于Dubbo剖析-SPI机制的主要内容,如果未能解决你的问题,请参考以下文章

Apache Dubbo 之 内核剖析

Apache Dubbo 之 内核剖析

Apache Dubbo 之 内核剖析

Apache Dubbo 之 内核剖析

SPI原理剖析

SPI原理剖析