一步即可!MySQL遇到数据分析场景就“怂”?解决方案已经帮你找好了

Posted 阿里云数据库

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一步即可!MySQL遇到数据分析场景就“怂”?解决方案已经帮你找好了相关的知识,希望对你有一定的参考价值。


作者: 沈洪 ,阿里云数据库技术专家
左上 ,阿里云数据库产品专家

作为最为流行的开源数据库,mysql正成为越来越多企业的选择。MySQL数据库大量应用在各种业务系统,除了在线业务逻辑的读写,还会有一些额外的数据分析需求,如BI报表、可视化大屏、大数据应用等。但受限于MySQL架构等问题,在面对数据分析场景时,其往往力不从心。

针对这种情况,业内有很多种解决方案。这里特推荐一种新的方式 — 数据湖分析,在面对低成本场景时是个不错的选择。在展开正式内容之前,对数据湖这个还较为陌生的概念做个简单介绍。

数据湖,是一种Serverless化的交互式联邦查询服务。使用标准SQL即可分析与集成对象存储(OSS)、数据库(PostgreSQL/MySQL等)、NoSQL(TableStore等)数据源的数据。

一步即可!MySQL遇到数据分析场景就“怂”?解决方案已经帮你找好了



01

方案背景

  • 需求场景一

MySQL数据库大量应用在各种业务系统,除了在线业务逻辑的读写,还会有一些额外的数据分析需求,如BI报表、可视化大屏、大数据应用等。随着业务的发展,单机MySQL数据库达到一定的数据量后,直接使用MySQL做数据分析性能比较差,而且会影响在线业务的读写性能。这种情况下就需要寻求新的数据分析方案。

  • 需求场景二

MySQL中的数据需要和日志数据做联合分析,这种场景下有些公司会使用开源的大数据系统(如Hive,Hadoop,Spark等)搭建数据仓库,这个方法虽然能解决问题,但它所需的人力成本和服务器等资源成本却是最高的。如何才能低成本的把MySQL与其他系统的数据做联合分析?

  • 需求场景三

当MySQL中数据量超过单机性能后,为了保证在线业务性能,DBA通常会采用分库分表技术,将一个数据库中的单张表数据拆分到多个数据库的多张表中。由于一个逻辑表被拆成多张表,这时候如果要进行数据分析,将会变得十分复杂。需要新的分析方案来解决。


02

方案评估因素

MySQL分析场景中,如果要解决上述三个场景问题,主要考虑的因素有哪些?如果有多种解决方案,应该如何选择?可以参考以下几个关键因素。


1.成本因素

这里谈到的成本,是个综合的概念,不单指经济成本,还包括时间、人力、风险成本等。用户做方案选择时,要考虑综合的“性价比”。

2.能力因素

能力维度包括两个方面,即功能和性能。功能上,方案是否提供了完备的分析能力及扩展能力。性能上,是否满足用户的对时效性、并行性的要求,特别是在海量规模下。

3.可维护性

好的产品,应该是提供良好的可维护性。用户可通过很简洁的方式使用它。当出现问题的时候,也可以很容易排查解决。

4.易用性

产品自身应具有良好的易用性。用户只需要很低的门槛即可使用到数据分析服务。


03

方案选择

针对MySQL数据的分析场景,有多种解决方案,包括直接在MySQL只读实例上分析、自建开源数据仓库和数据湖构建方案。下面让我们详细看看这些方案的优缺点。

以上是关于一步即可!MySQL遇到数据分析场景就“怂”?解决方案已经帮你找好了的主要内容,如果未能解决你的问题,请参考以下文章

跳槽涨薪 50%,却遇到一个怂货领导!

MySQL8.0版本安装教程(详细版)

不要怂,就是GAN (生成式对抗网络)

安装mysql以及遇到的问题解决

MySQL在并发场景下的问题及解决思路

mysql 安装到最后一步时,start service 为失败状态的解决方法