一步即可！MySQL遇到数据分析场景就“怂”？解决方案已经帮你找好了

Posted 2021-04-26 阿里云数据库

作者： 沈洪 ，阿里云数据库技术专家

左上 ，阿里云数据库产品专家

作为最为流行的开源数据库，mysql正成为越来越多企业的选择。MySQL数据库大量应用在各种业务系统，除了在线业务逻辑的读写，还会有一些额外的数据分析需求，如BI报表、可视化大屏、大数据应用等。但受限于MySQL架构等问题，在面对数据分析场景时，其往往力不从心。

针对这种情况，业内有很多种解决方案。这里特推荐一种新的方式 — 数据湖分析，在面对低成本场景时是个不错的选择。在展开正式内容之前，对数据湖这个还较为陌生的概念做个简单介绍。

数据湖，是一种Serverless化的交互式联邦查询服务。使用标准SQL即可分析与集成对象存储(OSS)、数据库(PostgreSQL/MySQL等)、NoSQL(TableStore等)数据源的数据。

01

方案背景

• 需求场景一

MySQL数据库大量应用在各种业务系统，除了在线业务逻辑的读写，还会有一些额外的数据分析需求，如BI报表、可视化大屏、大数据应用等。随着业务的发展，单机MySQL数据库达到一定的数据量后，直接使用MySQL做数据分析性能比较差，而且会影响在线业务的读写性能。这种情况下就需要寻求新的数据分析方案。

• 需求场景二

MySQL中的数据需要和日志数据做联合分析，这种场景下有些公司会使用开源的大数据系统（如Hive，Hadoop，Spark等）搭建数据仓库，这个方法虽然能解决问题，但它所需的人力成本和服务器等资源成本却是最高的。如何才能低成本的把MySQL与其他系统的数据做联合分析？

• 需求场景三

当MySQL中数据量超过单机性能后，为了保证在线业务性能，DBA通常会采用分库分表技术，将一个数据库中的单张表数据拆分到多个数据库的多张表中。由于一个逻辑表被拆成多张表，这时候如果要进行数据分析，将会变得十分复杂。需要新的分析方案来解决。

02

方案评估因素

MySQL分析场景中，如果要解决上述三个场景问题，主要考虑的因素有哪些？如果有多种解决方案，应该如何选择？可以参考以下几个关键因素。

1.成本因素

这里谈到的成本，是个综合的概念，不单指经济成本，还包括时间、人力、风险成本等。用户做方案选择时，要考虑综合的“性价比”。

2.能力因素

能力维度包括两个方面，即功能和性能。功能上，方案是否提供了完备的分析能力及扩展能力。性能上，是否满足用户的对时效性、并行性的要求，特别是在海量规模下。

3.可维护性

好的产品，应该是提供良好的可维护性。用户可通过很简洁的方式使用它。当出现问题的时候，也可以很容易排查解决。

4.易用性

产品自身应具有良好的易用性。用户只需要很低的门槛即可使用到数据分析服务。

03

方案选择

针对MySQL数据的分析场景，有多种解决方案，包括直接在MySQL只读实例上分析、自建开源数据仓库和数据湖构建方案。下面让我们详细看看这些方案的优缺点。