配置中心-Apollo

Posted 2021-02-28 chanix

配置中心-Apollo

2019/10/01 Chenxin

配置服务主要有 携程Apollo、百度Disconf、阿里ACM,目前以Apollo用户量最大.适用场景,多用于微服务,与K8S结合好.

携程Apollo
https://github.com/ctripcorp/apollo
Apollo - A reliable configuration management system.
Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。服务端基于Spring Boot和Spring Cloud开发，打包后可以直接运行，不需要额外安装Tomcat等应用容器。
Java客户端不依赖任何框架，能够运行于所有Java运行时环境，同时对Spring/Spring Boot环境也有较好的支持。
.Net客户端不依赖任何框架，能够运行于所有.Net运行时环境。

百度Disconf
https://github.com/knightliao/disconf
Disconf - Distributed Configuration Management Platform(分布式配置管理平台).
百度disconf是一套完整的基于zookeeper的分布式配置统一解决方案。一个分布式环境中，同类型的服务往往会部署很多实例。这些实例使用了一些配置，为了更好地维护这些配置就产生了配置管理服务。通过这个服务可以轻松地管理成千上百个服务实例的配置问题。专注于各种「分布式系统配置管理」的「通用组件」和「通用平台」, 提供统一的「配置管理服务」.
主要目标
部署极其简单：同一个上线包，无须改动配置，即可在 多个环境中(RD/QA/PRODUCTION) 上线.
部署动态化：更改配置，无需重新打包或重启，即可 实时生效.
统一管理：提供web平台，统一管理 多个环境(RD/QA/PRODUCTION)、多个产品 的所有配置.
核心目标：一个jar包，到处运行.

阿里ACM
https://help.aliyun.com/product/59604.html?spm=a2c4g.11186623.6.540.29a137332X3Muy 阿里云文档(ACM文档)
应用配置管理 ACM 是一款在分布式架构环境中对应用配置进行集中管理和推送的产品。
利用 ACM，您可以在微服务、DevOps、大数据等场景下极大减轻配置管理的工作量，并增强配置管理的服务能力。
应用配置管理 ACM（Application Configuration Management）前身为淘宝内部配置中心 Diamond，现已作为 Nacos 的配置中心模块开源。
应用场景:在应用生命周期管理中，开发人员通常会将应用中需要变更的一些配置项或者元数据从代码中分离出来，放在单独的配置文件中管理，这些单独管理的内容就称为应用配置。这种分离应用配置的方法是管理应用变更的常见手段之一。发布应用后，运维人员或最终用户可以通过调整配置来适配环境，或调整应用程序的运行行为。
ACM 是面向分布式系统的配置中心。凭借配置变更、配置推送、历史版本管理、灰度发布、配置变更审计等配置管理工具，ACM 能帮助您集中管理所有应用环境中的配置，降低分布式系统中管理配置的成本，并降低因错误的配置变更带来可用性下降甚至发生故障的风险。

比较
目前大多认为 Apollo优于Disconf优于ACM.

Apollo

参考
https://github.com/ctripcorp/apollo

架构说明

参考: https://github.com/ctripcorp/apollo/wiki/Apollo配置中心介绍

架构图: 略.
Apollo的总体设计，我们可以从下往上看：

Config Service提供配置的读取、推送等功能，服务对象是Apollo客户端
Admin Service提供配置的修改、发布等功能，服务对象是Apollo Portal（管理界面）
Config Service和Admin Service都是多实例、无状态部署，所以需要将自己注册到Eureka中并保持心跳
在Eureka之上我们架了一层Meta Server用于封装Eureka的服务发现接口
Client通过域名访问Meta Server获取Config Service服务列表（IP+Port），而后直接通过IP+Port访问服务，同时在Client侧会做load balance、错误重试
Portal通过域名访问Meta Server获取Admin Service服务列表（IP+Port），而后直接通过IP+Port访问服务，同时在Portal侧会做load balance、错误重试
为了简化部署，我们实际上会把Config Service、Eureka和Meta Server三个逻辑角色部署在同一个JVM进程中

基本概念解析

参考:
https://github.com/ctripcorp/apollo/wiki/Apollo使用指南
https://github.com/ctripcorp/apollo/wiki/Apollo核心概念之"namespace"
https://github.com/ctripcorp/apollo/wiki/Apollo配置中心介绍

application (应用)
这个很好理解，就是实际使用配置的应用，Apollo客户端在运行时需要知道当前应用是谁，从而可以去获取对应的配置
每个应用都需要有唯一的身份标识 -- appId，我们认为应用身份是跟着代码走的，所以需要在代码中配置，具体信息请参见Java客户端使用指南。

environment (环境)
配置对应的环境，Apollo客户端在运行时需要知道当前应用处于哪个环境，从而可以去获取应用的配置
我们认为环境和代码无关，同一份代码部署在不同的环境就应该能够获取到不同环境的配置
所以环境默认是通过读取机器上的配置（server.properties中的env属性）指定的，不过为了开发方便，我们也支持运行时通过System Property等指定，具体信息请参见Java客户端使用指南。

集群
通过添加集群，可以使同一份程序在不同的集群（如不同的数据中心）使用不同的配置
如果不同集群使用一样的配置，则没有必要创建集群
Apollo默认会读取机器上/opt/settings/server.properties文件中的idc属性作为集群名字， 如SHAJQ（金桥数据中心）、SHAOY（欧阳数据中心)
在Portal的项目内,创建的集群名字需要和机器上server.properties中的idc属性一致.(这里指的应该是部署应用程序所在的机器吧?)

Namespace
一个应用下不同配置的分组，可以简单地把namespace类比为文件，不同类型的配置存放在不同的文件中，如数据库配置文件，RPC配置文件，应用自身的配置文件等
应用可以直接读取到公共组件的配置namespace，如DAL，RPC等
应用也可以通过继承公共组件的配置namespace来对公共组件的配置做调整，如DAL的初始数据库连接数

灰度
A,B,C客户端机器.
配置项 timeout=20.
灰度为A机器保持默认主版本参数timeout=20,B,C机器为timeout=30.
运行一段时间,观察效果,再逐步将所有机器发布30.

安装与部署

参考
https://github.com/ctripcorp/apollo/wiki/分布式部署指南 分布式部署指南

机器配置说明(规划配置)
portal 192.168.143.130 portal+portalDB
dev 192.168.143.131 config+admin+configDB
pro 192.168.143.132 config+admin+configDB

JDK安装
cd /opt;
wget http://13.251.64.203:18081/jdk-8u181-linux-x64.tar.gz
tar xzvf jdk-8u181-linux-x64.tar.gz
mv /opt/jdk1.8.0_181 /usr/local/jvm

修改/etc/profile文件,添加:
cat >> /etc/profile << EOF
export JAVA_HOME=/usr/local/jvm
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.??{JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
EOF

source /etc/profile
echo $PATH #确保/usr/local/jvm/bin排在首位
java -version

mysql安装
请参考mysql文档.建议安装 mysql-5.7.27版本.

DB设置.

CREATE USER ‘apollo‘@‘localhost‘ IDENTIFIED BY ‘sj...8sg‘;
CREATE USER ‘apollo‘@‘%‘ IDENTIFIED BY ‘sj...8sg‘;

# 只设置1台potal(130)
create database apolloportaldb;
GRANT ALL PRIVILEGES ON apolloportaldb.* TO ‘apollo‘@‘%‘;
GRANT ALL PRIVILEGES ON apolloportaldb.* TO ‘apollo‘@localhost;

# 1台DEV 与 1台PRO 均设置(131,132)
create database apolloconfigdb;
GRANT ALL PRIVILEGES ON apolloconfigdb.* TO ‘apollo‘@‘%‘;
GRANT ALL PRIVILEGES ON apolloconfigdb.* TO ‘apollo‘@localhost;

mysql的sql文件导入,请参考后面git克隆代码部分.

github克隆代码(目的主要为获取sql表数据,另外也可以自行编译Apollo)
在portal,config+admin机器/opt/目录分别执行
git clone https://github.com/ctripcorp/apollo.git

拉取的代码里,包含sql文件,如下
/opt/apollo-all-code-git/scripts/db/migration/

[root@localhost migration]# tree
.
├── configdb
│?? └── V1.0.0__initialization.sql  #config的sql导入文件(供config和admin服务)
├── flyway-configdb.properties
├── flyway-portaldb.properties
└── portaldb
    └── V1.0.0__initialization.sql  #portal的sql导入文件(供portal服务)

将以上2个sql分别导入到1台portal-DB和 2台config-DB里.

采用直接下载打包好的文件解压
下载路径(从GitHub的md文档,即Apollo文档中得到)
https://github.com/ctripcorp/apollo/releases/
获取对应的portal.zip,admin.zip,config.zip文件,解压,可以放到/opt/目录.其他目录也可以.默认日志文件会被丢到/opt/目录(配置文件里默认指定,可以修改).

文件/数据结构与配置文件解析/启停

文件说明
以portal为例

[root@localhost apollo-portal]# pwd
/opt/apollo-portal

[root@localhost apollo-portal]# tree
.
├── apollo-portal-1.4.0.jar
├── apollo-portal-1.4.0-sources.jar
├── apollo-portal.conf  #参考下文
├── apollo-portal.jar
├── config #参考下文
│?? ├── apollo-env.properties
│?? ├── application-github.properties
│?? └── app.properties
└── scripts
    ├── shutdown.sh
    └── startup.sh

配置文件
安装portal,config,admin可以直接下载安装包方式.或者下载源码自行编译方式(编译主要适用于二次开发),这里未做尝试,如需要的话,建议使用阿里的maven库比较快.

配置项目有一部分是放在DB的表里的.

1.配置文件

protal配置文件

[root@localhost apollo-portal]# pwd
/opt/apollo-portal

[root@localhost apollo-portal]# cat apollo-portal.conf  (默认,无需修改)
MODE=service
PID_FOLDER=.
LOG_FOLDER=/opt/logs/100003173/

[root@localhost apollo-portal]# cat config/apollo-env.properties (2个环境,默认是多个被注释的)指定Eureka的地址
dev.meta=http://192.168.143.131:8080
pro.meta=http://192.168.143.132:8080

[root@localhost apollo-portal]# cat config/application-github.properties  (Portal访问自己DB的配置)
# DataSource
spring.datasource.url = jdbc:mysql://127.0.0.1:10306/ApolloPortalDB?characterEncoding=utf8 #这里DB在本地,所以为127地址.
spring.datasource.username = apollo
spring.datasource.password = sj...8sg

[root@localhost apollo-portal]# cat config/app.properties 默认(appId信息,为portal进程信息,日志是按照此id分类存储的.config为100003171,admin为100003172)
appId=100003173
jdkVersion=1.8

config配置文件

[root@localhost apollo-config]# pwd
/opt/apollo/apollo-config
[root@localhost apollo-config]# cat apollo-configservice.conf 保持默认
MODE=service
PID_FOLDER=.
LOG_FOLDER=/opt/logs/100003171/

[root@localhost config]# cat config/application-github.properties 需要修改,指定自己configDB地址
# DataSource
spring.datasource.url = jdbc:mysql://127.0.0.1:10306/ApolloConfigDB?characterEncoding=utf8
spring.datasource.username = apollo
spring.datasource.password = sj...8sg

[root@localhost config]# cat config/app.properties 保持默认
appId=100003171
jdkVersion=1.8

admin配置文件
略,同config服务的配置.

2.调整服务端配置
Apollo自身的一些配置是放在数据库里面的，所以需要针对实际情况做一些调整。
以下配置除了支持在数据库中配置以外，也支持通过-D参数、application.properties等配置，且-D参数、application.properties等优先级高于数据库中的配置.
这里以修改DB表字段为例,来调整服务器配置.

2.1调整ApolloPortalDB配置(Portal)
配置项统一存储在ApolloPortalDB.ServerConfig表中，也可以通过管理员工具 - 系统参数页面进行配置，无特殊说明则修改完一分钟实时生效。
apollo.portal.envs字段(可支持的环境列表),默认值是dev，如果portal需要管理多个环境的话，以逗号分隔即可（大小写不敏感），如：
DEV,FAT,UAT,PRO (ApolloPortalDB.ServerConfig表字段,本实验设置为 dev,pro)

2.2调整ApolloConfigDB配置(config)
配置项统一存储在ApolloConfigDB.ServerConfig表中，需要注意每个环境的ApolloConfigDB.ServerConfig都需要单独配置，修改完一分钟实时生效。
eureka.service.url字段(Eureka服务Url).
这里dev和pro分别有1台,所以只需要添加本机(默认已有,为http://localhost:8080/eureka/).pro也只有1台,也一样.

启停
启动顺序
config(8080) -> admin(8090) -> portal(8070)
启停脚本路径(类似)
/opt/apollo-portal/scripts/startup.sh
/opt/apollo-portal/scripts/shutdown.sh

页面与服务说明
登陆Portal:
http://192.168.143.130:8070/
默认用户名 apollo,密码 admin

登陆Eureka(优瑞卡)(无用户名密码,由config提供的服务):
http://192.168.143.131:8080/
http://192.168.143.132:8080/

访问admin,类似
http://192.168.143.131:8090/ 页面显示 "apollo-adminservice"字符
http://192.168.143.132:8090/

Portal操作说明,使用指南

参考 https://github.com/ctripcorp/apollo/wiki/Apollo使用指南

创建项目
创建用户
修改系统参数(会修改DB),比如增加部门名称.
对不同环境,DEV,PRO分别新增配置,并发布,或回滚.
添加集群
添加NameSpace

客户端

请参考应用程序接入部分.
思考,客户端更新是否成功,如何判断?需要手动写Java程序给出接口吗?还是说Portal有对应的监控项?(好像没有).-> 可以通过应用程序机器本地的缓存配置目录中查看.另外,客户端配置信息监控,可以在界面上方便地看到配置在被哪些实例(IP)使用

应用程序接入

参考 https://github.com/ctripcorp/apollo/wiki/Java客户端使用指南
支持 Java, .net, 其他语言(第三方提供的Go,Python等)

Java接入
1.pom.xml引用插件
pom.xml里apollo的引用

2.指定读取哪个Eureka机器里的数据
配置DEV还是PRO环境,有多种方式.建议服务器方式配置(开发机很少会变成生产).在开发机的 /opt/setting/server.properties,内容
apollo.meta=http://192.168.143.131:8080/ 如果是多个机器(高可用),后面跟","隔开.从此Eureka里读取应用程序(如test,或app-id-01)的配置信息.

3.指定读取哪个应用程序配置
apollo内项目的appid为test.那么需要录入到自身Java程序的 src->main->resource->META-INF->app.properties里: app.id=test (从Eureka里读取应用程序test的配置信息)

4.Java代码调用和验证
写java代码来调用apollo的配置信息,并自定义页面,检查是否成功.

其他语言
请参考官方文档说明(目前有用户提供了对应的python,nodejs,php,go等方式),或者使用http的api方式,具体说明参考官网文档.

缓存配置文件
客户端获取配置文件后,会写一份缓存的物理文件,放在本地.
所以应用程序,比如java或.net需要具有此目录的读写权限.
这个目录也可以在启动应用程序的时候指定,如-Dapollo.cacheDir=/opt/data/some-cache-dir
本地配置目录默认位于：
Mac/Linux: /opt/data/{appId}/config-cache

虚拟化部署

Docker,K8S的部署方式,请参考官方文档说明->分布式部署>-Docker,k8s.

用户与授权

参考 https://github.com/ctripcorp/apollo/wiki/Portal-实现用户登录功能 用户登录(LDAP,SSO)
LDAP接入
略

备份与恢复

数据库+配置文件

高可用

当前3台,分别为1台protal,1台dev,1台pro.现将pro也改为dev,以便模拟dev环境的高可用(2台).即实现Eureka的互备.
注意:这里,目的是config和admin服务高可用,DB仍为单点.protal的DB在130,config和admin的DB在131.

修改
1.130机器protal的DB表serverconfig字段apollo.portal.envs
值dev,pro->dev

2.131机器config的DB标serverconfig字段eureka.service.url
值http://localhost.../->http://192.168.143.131:8080/eureka/,http://192.168.143.132:8080/eureka/

3.130机器portal的配置文件
cat /opt/apollo-portal/config/apollo-env.properties
dev.meta=http://192.168.143.131:8080
pro.meta=http://192.168.143.132:8080
修改为
dev.meta=http://192.168.143.131:8080,http://192.168.143.132:8080

4.131和132上config和admin配置文件修改,数据库全部指向131机器
cat /opt/apollo/apollo-config/config/application-github.properties
spring.datasource.url = jdbc:mysql://192.168.143.131:10306/ApolloConfigDB?characterEncoding=utf8
spring.datasource.username = apollo
spring.datasource.password = xxx

确认
启动服务后,就只剩DEV环境了.

安全

Protal访问后端的Eureka,并没有任何认证过程.那么,谁都可以通过http api方式,往config里注入数据.安全隐患.
故此不能开放给外网.