借自动化实现数据库的安全运维和跨界运维

Posted syncnavigator

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了借自动化实现数据库的安全运维和跨界运维相关的知识,希望对你有一定的参考价值。

数据库作为IT系统中重要的组成,承接着底层的基础架构和上层的应用,重要性不言而喻。

 

那数据库管理员(DBA)平时都做些啥呢?

以下是来自一名普通DBA的日常独白:

D

 

B

 

A

 

技术分享图片8:30~9:00AM

 

日常:每天比普通用户以及应用运维早半小时到公司,第一件事就是开始检查数据库的监控和数据库的巡检,确认没有问题或者及时发现问题并在上班时间之前解决问题;

 

9:00~12:00AM

 

日常:忙于处理来自各项目的日常数据库工单(包括部署数据库实例、部署数据库群集、数据库账号授权、 数据库数据导出等),电话、微信、邮件、ITSM,一单完成接着下一单;

 

12:30~13:30PM

 

日常:在完成一次数据库的健康性巡检后,似乎可以安静的小憩一小会;

 

13:30~17:00PM

 

日常:继续忙碌处理日常数据库工单,偶尔也会被打断,出现一些应用访问性能问题或故障问题,需要紧急响应,从数据库层面分析数据库性能,导日志、查SQL语句、测试性能等,甚至要做一些临时的重启数据库实例或服务器的操作;

 

17:00~18:30PM

 

日常:下班前,再次进行数据库的巡检和检查数据库监控,再对数据库文件进行导出备份,确认没有问题,下班回家吃饭。

 

平凡的一天,并没有这么简单的结束.jpg

 

技术分享图片技术分享图片21:30~23:30PM

 

日常:往往每周总会有那么几天,需要对生产环境的数据库进行发布变更,尤其现在的应用迭代频繁,SQL的上线发布也日益频繁,而且为了避免一些人为的操作失误,每次的变更发布时间也只能安排每周的某几天的晚上22:00左右(为此加夜班也是在所难免的),不仅为了避免变更对业务造成影响,同时也为了不可控风险提供充足的缓冲时间。

 

技术分享图片而要成为一名资深DBA,你以为每周就这样忙碌日常工单、日常监控和巡检、经常性的熬夜加班变更就可以了吗?

 

技术分享图片

一个资深DBA,还需要协助各项目组进行提供数据库架构的设计与选型。

此时,某个项目组新起的一个项目用的是开源mysql,“你对数据库很熟悉吧,你去负责协助下?”

技术分享图片

又一个项目组听说用的是SQL Server,“你是DBA,你去负责协助下?”

技术分享图片

又来了一个新的项目,好像是PGsql、Redis、MongoDB……

技术分享图片

“不想当将军的士兵不是好的战士”、“不想当CIO的DBA不是好的运维”。在每天面临如此多的来自工作量、运维安全、技术更新挑战的同时,我们还需要不断的成长与思考:

  • 如何正确规划数据库的生命周期管理?
  • 如何建设工具来帮助降低重复操作的工作量?
  • 如何通过技术规避运维中不可控的高风险?
  • 如何全局应对多类型数据库的选型和运维支撑?

 

此时,选择一款好的平台型产品,能够综合解决你面临的跨界运维、安全运维、自动化运维挑战,就非常非常非常重要。

这里,给大家介绍的是一款基于蓝鲸平台打造的SaaS产品:嘉维蓝鲸数据库自动化运维中心(CW DBM Automation),融合了MySQL和Oracle日常运维场景的配置、部署、巡检、监控、操作、SQL发布的全生命周期管理,同时结合多场景的业务需求提供端到端的自动化交付,以及结合多年运维积累的SQL发布规则过滤高危运维操作。

 

技术分享图片

选择嘉维蓝鲸,让数据库自动化运维、安全运维、跨界运维触手可及!

 

 

 

产品架构设计

 

嘉维蓝鲸数据库自动化运维中心SaaS,是基于蓝鲸PAAS平台开发,囊括数据库管理自动化、监控自动化及操作审计的运维中心。

 

 

技术分享图片

依托SOA设计理念将数据库自动化运维操作平台以IaaS管控层、原子平台层、PaaS层、运维场景层输出服务,提供各层资源全生命周期的运维管理,实现对企业IT资源的集中化、可视化、自动化管理。

IaaS管控层:

是指对IaaS的管理和控制,通过提供指令、文件、数据下发的管道,适配类型主机(Linux、Windows、虚拟机、容器等),兼容私有云、公有云以及混合元的管理方式,管控各个主机上面的数据库实例。

原子层:

是指为满足通用运维场景的基础能力平台的封装,有作业功能模块 、DB  CMDB模块、运维数据平台模块组成。

PaaS层:

包含该支撑应用部署和运行的APaaS(Application Platform as a Service)以及企业内部SOA集成的IPaaS(Integration Platform as a Service),通过企业服务总线和API Gateway对接原子层各平台的能力。

运维场景层:

是指基于PaaS层之上的运维SaaS,涵盖数据库管理自动化、数据库监控自动化、操作审计等。

 

核心功能及优势

 

数据库自动化运维中心,是嘉为数据库技术专家基于多年的数据库运维经验的沉淀,是深刻理解MySQL、Oracle数据库日常运维中各种场景的结晶。嘉维蓝鲸数据库自动化运维中心,能快速实现数据库的日常管理、SQL变更、备份恢复、实例交付、健康检查、状态及性能监控等多种场景,总结起来为以下几点:

 

1

 

 实现数据库的全生命周期管理

一个应用系统的建设,在配置、部署、监控、操作、分析各阶段,数据库自动化运维中心提供全方位的功能:实例自动部署、实例升降级,MHA自动部署和管理,MGR自动部署和管理,Oracle RAC自动部署和管理的能力,使企业应用快速简便地使用MySQL、Oracle数据库资源。

 

2

 

实现端到端的全流程自动化执行

大部分企业的数据库种类繁多,主要集中在MySQL、Oracle等常用数据库。嘉为数据库自动化运维中心,提供MySQL、Oracle日常运维、备份恢复等基本的运维操作,批量完成、自动化交付。

 

3

 

进行数据库实例的状态及性能监控,保证数据库时间健康运行

此款SaaS可以进行全面的数据库实例及集群状态监控、主机状态监控。能实现性能指标收集,并进行综合的分析,对超过告警阈值的状态或性能指标通知干系人,对有性能问题的SQL语句提供性能优化方案建议。

 

4

 

提供SQL一键发布和回退,并实现高危SQL语句过滤

对于应用的变更,能提供SQL语句自动发布,自定义SQL语句的过滤规则,规避高危SQL,可以批量执行到多个数据库实例中。

 

5

 

配置集中管理和集成CMDB动态更新

数据库自动化运维中心是基于蓝鲸PaaS平台的开发一个SaaS服务,可以与蓝鲸的CMDB(配置平台)集成,在完成每一个数据库的自动化交付后,都可以及时将交付对象的数据同步写入CMDB,确保配置数据与真实环境的一致性。

 

6

 

支持个性化与定制化的数据库巡检

可以自定义巡检项和自定义巡检模板,对客户关心的数据库指标进行巡检,可以批量巡检、定时巡检,巡检报告自动发送到干系人,随时了解数据库实例的运行状态。

 

产品功能设计

 

技术分享图片

 

 

1

 

实例管理

  • 软件部署自动化:自动化、标准化安装MySQL、Oracle软件,创建MySQL、Oracle 实例
  • 从库搭建自动化:编写标准的MySQL 主从库创建脚本,在平台通过选择服务器进行一键从库搭建
  • 根据集群的配置要求,自动搭建数据库集群,包括MySQL MHA集群、MGR集群,Oracle  RAC 集群

2

 

自动巡检

  • 检查关键系统、数据库实例的服务状态、运行状态,方便地根据需求配置和定义巡检;
  • 设定执行周期和时间,确保定期的触发运行,也可以通过按钮一键执行;
  • 健康巡检结果呈现到统一门户中,方便一线监控人员查看处理,可以导出为可读文件以供历史存档;
  • 对检查出来对健康和性能有隐患的配置或服务,提出告警和整改建议。

3

 

应该变更与SQL发布

  • 预定义变更与SQL发布模板:系统可根据模板批量执行配置变更脚本,将以前手工执行的作业自动化
  • 变更与SQL发布可以恢复或回滚
  • 变更与SQL发审批:任何变更均需通过审批后方可执行,变更申请和变更审批应在不同权限用户下进行。
  • 变更与SQL发审计:对执行变更应该提供详细的审计,审计信息至少包括变更命令的执行用户名,高危操作。

4

 

备份与恢复

  • 自动备份:根据备份需求,自动备份数据库,支持逻辑备份和物理备份,提供备份日志,备份异常告警;
  • 自动恢复:要求可基于基准备份对数据库件进行自动恢复,可以指定恢复到某个恢复路径,自动检查能够恢复到什么时间点,由用户确定恢复的时间点。

5

 

状态与性能监控

  • 主机资源监控:主机CPU、内存、网络使用状态基本监控
  • 实例状态监控:实例可用状态,数据库可以状态、集群状态监控
  • 实例性能监控:顶级事件、慢SQL语句监控
  • 所有超过阈值的指标进行告警和通知

 

其它扩展功能

 

基于蓝鲸的作业平台、流程平台以及开放的开发框架,用户还可以进行快速功能定制和二次开发

以上是关于借自动化实现数据库的安全运维和跨界运维的主要内容,如果未能解决你的问题,请参考以下文章

运维36计

喜讯:广西大数据公司再增安全运维数据管理系统等9项软著证书!

远离“人祸”,关于安全运维,我们建了个系统……

让你久等了!《开源安全运维平台OSSIM疑难解析--入门篇》9月上市

安全运维 | Perl oneline定位网站攻击源,通过iptables封禁

关于信息安全运维那些事儿