借自动化实现数据库的安全运维和跨界运维

Posted 2021-01-30 syncnavigator

数据库作为IT系统中重要的组成，承接着底层的基础架构和上层的应用，重要性不言而喻。

 

那数据库管理员（DBA）平时都做些啥呢？

以下是来自一名普通DBA的日常独白：

D

 

B

 

A

 

8:30~9:00AM

 

日常：每天比普通用户以及应用运维早半小时到公司，第一件事就是开始检查数据库的监控和数据库的巡检，确认没有问题或者及时发现问题并在上班时间之前解决问题；

 

9:00~12:00AM

 

日常：忙于处理来自各项目的日常数据库工单（包括部署数据库实例、部署数据库群集、数据库账号授权、 数据库数据导出等），电话、微信、邮件、ITSM，一单完成接着下一单；

 

12:30~13:30PM

 

日常：在完成一次数据库的健康性巡检后，似乎可以安静的小憩一小会；

 

13:30~17:00PM

 

日常：继续忙碌处理日常数据库工单，偶尔也会被打断，出现一些应用访问性能问题或故障问题，需要紧急响应，从数据库层面分析数据库性能，导日志、查SQL语句、测试性能等，甚至要做一些临时的重启数据库实例或服务器的操作；

 

17:00~18:30PM

 

日常：下班前，再次进行数据库的巡检和检查数据库监控，再对数据库文件进行导出备份，确认没有问题，下班回家吃饭。

 

平凡的一天，并没有这么简单的结束.jpg

 

21:30~23:30PM

 

日常：往往每周总会有那么几天，需要对生产环境的数据库进行发布变更，尤其现在的应用迭代频繁，SQL的上线发布也日益频繁，而且为了避免一些人为的操作失误，每次的变更发布时间也只能安排每周的某几天的晚上22:00左右（为此加夜班也是在所难免的），不仅为了避免变更对业务造成影响，同时也为了不可控风险提供充足的缓冲时间。

 

而要成为一名资深DBA，你以为每周就这样忙碌日常工单、日常监控和巡检、经常性的熬夜加班变更就可以了吗？

 

一个资深DBA，还需要协助各项目组进行提供数据库架构的设计与选型。

此时，某个项目组新起的一个项目用的是开源mysql，“你对数据库很熟悉吧，你去负责协助下？”

又一个项目组听说用的是SQL Server，“你是DBA，你去负责协助下？”

又来了一个新的项目，好像是PGsql、Redis、MongoDB……

“不想当将军的士兵不是好的战士”、“不想当CIO的DBA不是好的运维”。在每天面临如此多的来自工作量、运维安全、技术更新挑战的同时，我们还需要不断的成长与思考：

• 如何正确规划数据库的生命周期管理？
• 如何建设工具来帮助降低重复操作的工作量？
• 如何通过技术规避运维中不可控的高风险？
• 如何全局应对多类型数据库的选型和运维支撑？

 

此时，选择一款好的平台型产品，能够综合解决你面临的跨界运维、安全运维、自动化运维挑战，就非常非常非常重要。

这里，给大家介绍的是一款基于蓝鲸平台打造的SaaS产品：嘉维蓝鲸数据库自动化运维中心（CW DBM Automation），融合了MySQL和Oracle日常运维场景的配置、部署、巡检、监控、操作、SQL发布的全生命周期管理，同时结合多场景的业务需求提供端到端的自动化交付，以及结合多年运维积累的SQL发布规则过滤高危运维操作。

 

选择嘉维蓝鲸，让数据库自动化运维、安全运维、跨界运维触手可及！

 

 

 

产品架构设计

 

嘉维蓝鲸数据库自动化运维中心SaaS，是基于蓝鲸PAAS平台开发，囊括数据库管理自动化、监控自动化及操作审计的运维中心。

 

 

依托SOA设计理念将数据库自动化运维操作平台以IaaS管控层、原子平台层、PaaS层、运维场景层输出服务，提供各层资源全生命周期的运维管理，实现对企业IT资源的集中化、可视化、自动化管理。

IaaS管控层：

是指对IaaS的管理和控制，通过提供指令、文件、数据下发的管道，适配类型主机（Linux、Windows、虚拟机、容器等），兼容私有云、公有云以及混合元的管理方式，管控各个主机上面的数据库实例。

原子层：

是指为满足通用运维场景的基础能力平台的封装，有作业功能模块 、DB  CMDB模块、运维数据平台模块组成。

PaaS层：

包含该支撑应用部署和运行的APaaS（Application Platform as a Service）以及企业内部SOA集成的IPaaS（Integration Platform as a Service），通过企业服务总线和API Gateway对接原子层各平台的能力。

运维场景层：

是指基于PaaS层之上的运维SaaS，涵盖数据库管理自动化、数据库监控自动化、操作审计等。

 

核心功能及优势

 

数据库自动化运维中心，是嘉为数据库技术专家基于多年的数据库运维经验的沉淀，是深刻理解MySQL、Oracle数据库日常运维中各种场景的结晶。嘉维蓝鲸数据库自动化运维中心，能快速实现数据库的日常管理、SQL变更、备份恢复、实例交付、健康检查、状态及性能监控等多种场景，总结起来为以下几点：

 

1

 

 实现数据库的全生命周期管理

一个应用系统的建设，在配置、部署、监控、操作、分析各阶段，数据库自动化运维中心提供全方位的功能：实例自动部署、实例升降级，MHA自动部署和管理，MGR自动部署和管理，Oracle RAC自动部署和管理的能力，使企业应用快速简便地使用MySQL、Oracle数据库资源。

 

2

 

实现端到端的全流程自动化执行

大部分企业的数据库种类繁多，主要集中在MySQL、Oracle等常用数据库。嘉为数据库自动化运维中心，提供MySQL、Oracle日常运维、备份恢复等基本的运维操作，批量完成、自动化交付。

 

3

 

进行数据库实例的状态及性能监控，保证数据库时间健康运行

此款SaaS可以进行全面的数据库实例及集群状态监控、主机状态监控。能实现性能指标收集，并进行综合的分析，对超过告警阈值的状态或性能指标通知干系人，对有性能问题的SQL语句提供性能优化方案建议。

 

4

 

提供SQL一键发布和回退，并实现高危SQL语句过滤

对于应用的变更，能提供SQL语句自动发布，自定义SQL语句的过滤规则，规避高危SQL，可以批量执行到多个数据库实例中。

 

5

 

配置集中管理和集成CMDB动态更新

数据库自动化运维中心是基于蓝鲸PaaS平台的开发一个SaaS服务，可以与蓝鲸的CMDB（配置平台）集成，在完成每一个数据库的自动化交付后，都可以及时将交付对象的数据同步写入CMDB，确保配置数据与真实环境的一致性。

 

6

 

支持个性化与定制化的数据库巡检

可以自定义巡检项和自定义巡检模板，对客户关心的数据库指标进行巡检，可以批量巡检、定时巡检，巡检报告自动发送到干系人，随时了解数据库实例的运行状态。

 

产品功能设计

 

 

 

1

 

实例管理

• 软件部署自动化：自动化、标准化安装MySQL、Oracle软件，创建MySQL、Oracle 实例
• 从库搭建自动化：编写标准的MySQL 主从库创建脚本，在平台通过选择服务器进行一键从库搭建
• 根据集群的配置要求，自动搭建数据库集群，包括MySQL MHA集群、MGR集群，Oracle  RAC 集群

2

 

自动巡检

• 检查关键系统、数据库实例的服务状态、运行状态，方便地根据需求配置和定义巡检；
• 设定执行周期和时间，确保定期的触发运行，也可以通过按钮一键执行；
• 健康巡检结果呈现到统一门户中，方便一线监控人员查看处理，可以导出为可读文件以供历史存档；
• 对检查出来对健康和性能有隐患的配置或服务，提出告警和整改建议。

3

 

应该变更与SQL发布

• 预定义变更与SQL发布模板：系统可根据模板批量执行配置变更脚本，将以前手工执行的作业自动化
• 变更与SQL发布可以恢复或回滚
• 变更与SQL发审批：任何变更均需通过审批后方可执行，变更申请和变更审批应在不同权限用户下进行。
• 变更与SQL发审计：对执行变更应该提供详细的审计，审计信息至少包括变更命令的执行用户名，高危操作。

4

 

备份与恢复

• 自动备份：根据备份需求，自动备份数据库，支持逻辑备份和物理备份，提供备份日志，备份异常告警；
• 自动恢复：要求可基于基准备份对数据库件进行自动恢复，可以指定恢复到某个恢复路径，自动检查能够恢复到什么时间点，由用户确定恢复的时间点。

5

 

状态与性能监控

• 主机资源监控：主机CPU、内存、网络使用状态基本监控
• 实例状态监控：实例可用状态，数据库可以状态、集群状态监控
• 实例性能监控：顶级事件、慢SQL语句监控
• 所有超过阈值的指标进行告警和通知

 

其它扩展功能

 

基于蓝鲸的作业平台、流程平台以及开放的开发框架，用户还可以进行快速功能定制和二次开发