大数据开发--Zookeeper实现简易配置中心

Posted 2021-09-03 Hoult-吴邪

大数据开发——Zookeeper实现简易配置中心

为什么使用Zookeeper

Zookeeper是一个分布式的，开放源码的分布式协调服务，常在Ha架构，比如Hadoop、Hbase中使用，它是一个分布式应用提供一致性服务的软件，提供的功能有：配置维护，域名服务，分布式同步，注册中心等，作为配置中心，需要的就是一个稳定的全局一致的配置化中心，而Zk本身提供的原语正好可以满足需求。

1.实现思路

1.创建要给Web项目，将数据库连接池信息交给Zookeeper配置中心来管理，即把配置参数放到Zk的节点信息中.

2.在项目启动时候，从Zookeeper中拉取mysql的信息参数、

3.当Zk中的数据库连接池信息修改后，自动感知，正确释放之前的连接池，创建新的连接池。

2.实现过程

2.1 启动springboot项目，并从zk中拉取配置

     /**
     * 1. 启动 web 容器
     * 2. 初始化 zookeeper
     * 3. 配置数据库连接池
     **/
    public static void main(String[] args) {

        SpringApplication.run(Application.class, args);

        initZk();

        configHikariSource();
    }

   //初始化zk
    private static void initZk() {

        zkClient = new ZkClient("centos:8521");

        zkClient.setZkSerializer(new ZkStrSerializer());

        zkClient.subscribeDataChanges("/jdbc", new IZkDataListener() {

            public void handleDataChange(String path, Object data) {

                System.out.println(path + " data is changed, new data " + data);

                hikariDataSource.close();

                configHikariSource();
            }

            public void handleDataDeleted(String path) {

                System.out.println(path + " is deleted!!");

                hikariDataSource.close();
            }
        });
    }

2.2 获取数据库连接池信息进行访问mysql

序列化zk中的数据，将其转为字符串，使用HiKari工具建立连接，操作数据库

/**
     * 配置数据库连接池
     *
     * 1. 从 zookeeper 中获取配置信息
     * 2. 更新 hikari 配置
     * 3. 执行测试 sql
     */
    private static void configHikariSource(){

        JDBCConfig myConfig = getJDBCConfig();

        updateHikariConfig(myConfig);

        try {

            executeTestSQL();
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }

2.3 监听zk，改变节点数据，释放并创建新的数据库连接

//更新数据库信息
    private static void updateHikariConfig(JDBCConfig myConfig) {

        HikariConfig config = new HikariConfig();
        config.setJdbcUrl(myConfig.getUrl());
        config.setUsername(myConfig.getUsername());
        config.setPassword(myConfig.getPassword());
        config.addDataSourceProperty( "driverClassName" , myConfig.getDriver());
        config.addDataSourceProperty( "cachePrepStmts" , "true" );
        config.addDataSourceProperty( "prepStmtCacheSize" , "250" );
        config.addDataSourceProperty( "prepStmtCacheSqlLimit" , "2048" );
        hikariDataSource = new HikariDataSource(config);
    }

代码相关：https://github.com/hulichao/bigdata-code/blob/master/src/main/java/com/hoult/zk/job/Application.java

---

吴邪，小三爷，混迹于后台，大数据，人工智能领域的小菜鸟。 更多请关注