历经二载，数据仓库云化升级开新路；十年经分，加工提速改天换地创新篇。

Posted 2021-04-24 联通数据中心

新一代经营分析系统面向公司全业务经营，指标2万+个，每日数据处理量17T，每月数据处理量990T，一方面处理数据量快速增长，另一方面需要经分日报、月报提早发布，高效支撑公司各层级各专业经营决策。

数据中心自2018年起启动新经分云化技术架构升级，试点国产化大数据平台、数据仓库，培养自主研发团队，推进自主可控与自主创新，预见性地解决因业务规模及范围急速扩张，系统生产能力不足的问题，实现了数据仓库全云化、经营分析日月报发布提速，充分体现了数据中心战略上的远见卓识。

云化技术架构升级工作历程

日月报数据发布提速成效

本次云化架构升级，并非简单将生产过程由Oracle体系迁移至新建Hadoop体系，建设过程包括全仓库的业务流程梳理，按照预设目标完成接口数据采集，结合Hadoop集群特性迁移、优化各流程涉及的加工作业，集群间数据同步，通过跨平台ETL作业统一调度和监控，以及BDI、数据质量稽核平台等配套升级，涉及数据中心3个处室7个团队的配合。

集群规模430个节点，日作业量1.5万+，月作业量4.4万+，面对如此复杂的工程，依然保证新老环境极低的差异率，费用、流量等指标级精确万分之一以下，用户数单省差异指标级精确千分之一以下，数据稽核全部通过。

本次月报云化迁移重点工作

项目组克服硬件到货晚、机房机位紧张、疫情影响等困难，科学组织、精心计划、激情工作、夯实基础、不断优化，时间紧、任务重、困难多，砥砺前行，不忘初心，披星戴月保进度、通宵达旦保生产。数据中心领导、同事上下同心，各团队紧密协作，月报云化迁移经过4个账期并行的充分准备，于7月底顺利割接上线，充分体现了数据中心的高效协同与战斗力。

随着cBSS100%迁转，新经分云化架构持续优化，新经分日月报将进一步提速。放眼未来长远发展，紧跟时代前沿技术，新一代经分系统与时俱进，助力公司数字化转型。