当时间管理碰上大数据,从此,悠悠时光也终不再那么漫长

Posted 华为云开发者社区

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了当时间管理碰上大数据,从此,悠悠时光也终不再那么漫长相关的知识,希望对你有一定的参考价值。

摘要:针对微鲤业务上面临的挑战,华为云数据库团队快速响应需求,有的放矢提供了针对性的方案。

人总说,时间从来不语,却回答了所有问题。它将每一分秒凝成过去,镌史成册,几千年后的我们仍可与之对语。若说有什么能跨越千年,告知我们时间的答案,那想必,二十四节气必占一席之地。二十四节气,在国际气象界被誉为中国第五大发明,从春秋时代的初现雏形,经历了战国后期《吕氏春秋•十二纪》中的积累延续,再到秦汉年间完全确立,经过人类智慧的创造,它已经不仅仅是准确反映自然节律变化那么简单,更蕴含着深厚的文化内涵和悠久的历史积淀。

古时,人们用二十四节气记录时间,以此为标准来指导农耕生产,而经过几千年的传承,记录时间的方式已经有了更多元化的选择,比如——日历。在网络不发达的年代,老百姓们家里挂着的还是纸质日历,在我们的印象中,老人每天早上站在日历前,撕下旧的一页,展出新的一张,代表着新的一天到来了。随着网络的发展,科技的进步,手机日历融入到了我们的生活中,但已不单单是记录时间那么简单,它可以天气预报,提前预知温度变化;可以日程提醒,让工作和生活有条不紊;可以休闲阅读,让身心随时放松...... 这些都在中华万年历APP中得到了淋漓尽致的体现,一款日历软件,连接起了悠悠的时间和有趣的事儿,成为了3亿人的共同选择。

如果说中华万年历能让我们在生活中更便捷地规划时间,那么微鲤看看这款软件则让我们在时间的缓缓流逝中再一次爱上生活。作为一款创新型资讯社区APP,微鲤看看给了我们足不出户就可以看世界的机会,养生、音乐、美食等几十类资讯无所不有,社区互动带给我们更多志同道合的伙伴,让每个人在匆忙赶路的同时享受当下生活,让时间过得慢一些,再有趣一些。

赶上云原生的早班车,也渴望新技术的更新换代

让时光充满乐趣,是微鲤一直在做的事情。微鲤是一家移动互联网公司,一直专注于时间管理和软件开发,中华万年历和微鲤看看作为其旗下的知名APP,月活数千万,在业内影响力极大。随着云原生时代的演进,微鲤赶上了这趟早班车,成为最早一批的云原生使用者,在数字化变革的红利之下,其用户数快速增长,仅中华万年历一款APP的累计用户截至目前已经突破3亿,跻身千万级移动应用行业。

业务量在日渐增长,一些问题也随之而来。例如中华万年历和微鲤看看两款软件的数据库实例都多达64个,中华万年历通过手动拆分进行分库分表,造成了明显的资源浪费,同时业务代码时有侵入,也需要大量的维护工作;微鲤看看日志主机的存量数据量较大,但随着业务调整,资源出现冗余,没有较好地整合。面对如此种种现状,对中华万年历数据库的分库分表改造和微鲤看看的资源整合问题迫在眉睫,于是,选择将业务迁移割接到新的数据库系统来彻底解决这些问题在微鲤的技术团队中形成共识。不过,原先使用的数据库实例较多,不同实例参数差异大,且不同APP之间的数据分别存在于不同的数据库之中,各APP对于迁移割接方案的要求也不尽相同,因此,将各业务都实现平滑迁移面临着较大的挑战。

华为云数据库有的放矢,助力微鲤业务降本增效

基于以上的业务需求,微鲤亟需一款可弹性伸缩和极致性能的数据库来解决资源冗余的问题,并保证迁移过程中业务不受影响。众里寻他千百度,在一众的数据库产品中,微鲤将眼光瞄向了华为云数据库。华为云数据库基于多年累积的数据库研发、搭建和维护经验,结合云化改造技术,大幅优化传统数据库,打造出了多款高性能、高可靠、高安全、可弹性伸缩的数据库,并拥有容灾、备份恢复、实时监控、在线迁移等全面的解决方案。

经过多次业务交流,微鲤对华为云数据库表示高度认可,并选择华为云数据库作为长期合作伙伴,双方在数据领域展开了深入合作。针对微鲤业务上面临的挑战,华为云数据库团队快速响应需求,有的放矢提供了针对性的方案:

迁移方案评估:在项目前期对整体业务和应用系统进行充分调研,梳理出所有业务的应用场景,针对不同APP对割接时间的要求进行分类,输出三种割接方案,进行多次DRS数据迁移测试和割接演练,确保各项业务平滑迁移至华为云上。

中华万年历分库分表改造方案:当前中华万年历的业务存在分表不分库、分库不分表、分库分表三种场景,根据实际的业务场景需求和未来3-5年的发展规划,梳理出当前手动分库分表逻辑,统计分库分表的数据量,依据业务的常用查询条件,选择合适的分片键和实例规格数量,将近10亿的数据量同步到分布式中间件DDM+RDS for mysql中。

微鲤看看数据库合并方案:深入了解微鲤看看的业务应用场景,查看源端自建实例的监控指标,分析各个实例的读写压力,再结合数据量,按照业务的写入数据的模式,将64个自建MySQL实例优化合并为5个RDS实例。

在华为云项目团队的高效运作下,仅两个多月的时间内,微鲤多项业务平滑迁移至华为云数据库RDS for MySQL中。中华万年历在不影响业务性能的前提下,近10亿的数据在高效同步的同时做到了0丢失,数据可靠性大大增强;不仅如此,使用DDM+RDS for MySQL替代原有复杂的分库分表方式既简化了业务代码,又提高了整个业务的读写性能。微鲤看看通过实例合并和数据均摊的方式有效均衡了业务读写压力,降低运维成本,减轻了后期维护压力。

良好的开端是成功的一半。目前,针对微鲤业务的解决方案已经在实施中取得明显成效,微鲤剩余的业务量将会按计划陆续搬迁至华为云数据库,在保障业务稳定性的前提下进行业务切换,顺利完成业务迁移。着眼将来,华为云将继续携手微鲤,深化合作,不忘初心,以数字科技持续赋能时间管理和休闲方式,让每个人的清浅时光在白驹过隙之中都有迹可循。

点击关注,第一时间了解华为云新鲜技术~

以上是关于当时间管理碰上大数据,从此,悠悠时光也终不再那么漫长的主要内容,如果未能解决你的问题,请参考以下文章

当搜索引擎碰上风湿病大数据化.....

手把手教你学Numpy,从此处理数据不再慌「一」

手把手教你学Numpy,从此处理数据不再慌「一」

数字漫画行业繁花似锦,国漫扎根本土文化“向外生长”?

缓存架构设计,从此不再发愁

死锁监控四步走,从此性能不再愁!(内有福利)