推介｜中央电视台业务数据分析平台架构设计

Posted 2021-04-27 科技微览

中央电视台业务数据分析平台架构设计

选自：2018年第12期《现代电视技术》 

经过多年发展，中央电视台已建成 ERP（企业资源计划）、媒资管理等众多信息管理系统，承担着业务运营和内部管理。这些系统每天会产生大量业务数据，但这些数据分散在各系统中，数据标准不统一、数据质量参次不齐，如何整合这些数据，从数据中挖掘更多的价值、为中央电视台运营管理提供更好的支撑，是一项重要的课题。

一、业务数据分析平台构建背景

在分析平台构建前，内部数据的分析和展示一部分分散在业务系统，一部分是通过手工低效的方式，生产简单的流水账、汇总类报表，缺少数据的统一化管理、数据价值的深度挖掘、跨系统的数据分析应用和丰富的可视化展现形式。业务数据分析平台提供数据的共享，满足业务部门的数据分析和应用需求，可以提高整体业务的数据管理和分析水平，降低使用和利用数据的成本，提高数据价值的挖掘、数据对企业运营的决策支撑。

业务数据分析平台是基于中央电视台的数据现状和业务需求（如图1）进行构建，目的是建设一套可持续发展的平台，可以集成更多的软件工具，支持未来更多业务数据整合和更多的数据分析应用需求。通过平台可以不断发掘数据价值，将有价值的信息通过灵活、快速、高效的方式展现给领导和各相关业务部门，为中央电视台的业务运营管理提供越来越有力的数据分析支撑服务。

业务部门可以按照数据整合方法和规范，提出业务数据接入平台的诉求，以及本部门数据分析和展现的需求，平台能快速实现数据整合，制定数据使用权限，并依据数据分析指标模型、数据源、计算方法、图形化展示需求等，实现数据分析指标的构建和数据展现的图形化，包括跨业务域、跨系统数据的分析。

二、业务数据分析平台设计要求和原则

1. 业务架构层

从业务架构看，业务数据分析平台是企业管理的一个重要组成部分，建立在节目生产管理、财务管理、人力资源管理、媒资管理、广告管理等信息管理系统上，构建为全台提供数据服务的统一的数据管理和分析平台。未来中央电视台所有日常业务的开展，经营、投资、市场开发以及其他重要的运营活动都离不开数据的支持，数据分析和决策深入日常业务、投资、经营的全过程。在数据活动中，电视台将与内部各单位、内部职工、外部企业等发生各方面的数据关系，业务数据分析平台提供各种业务数据的整合、共享和分析。充分考虑企业数据对中央电视台的影响，制定与机构发展战略相结合的数据整合、分析和决策机制，重视采用数据分析的价值，提高数据服务业务运营和决策支持的能力。

2. 功能架构层

从功能架构层面看，包括数据整合、数据模型的建立和管理、数据分析指标和挖掘模型的构建、报表和各种图形化展现、元数据管理、数据质量管理等管理和分析方面的需求。另外，系统还要满足对日常发生的平台的配置、管理、运行等方面的需要，以保证系统的平稳，为各数据使用部门提供高效的数据服务。

3. 技术架构层

从技术架构层面看，平台的建设是以数据管理和分析的软件平台解决方案为建设基础，包括数据抽取、数据仓库、应用分析等解决方案，通过切实可行的包含软件产品解决方案的整体解决方案实现包括数据管理和应用分析等平台功能。业务数据分析平台的实施首先需制定数据的标准和规范，并依据标准和规范，对数据进行盘点、评估、治理。通过对全台数据的梳理，建立适合中央电视台企业特性和可扩展的企业级数据模型，以此搭建企业级数据仓库。平台的集成不仅要满足其与节目生产、广告、财务等业务系统数据集成的能力，同时还要满足与更多数据分析和应用工具的集成能力。通过高度可配置和最佳业务实践等手段，配合敏捷开发和一定程度的定制化手段，建设标准化的系统来满足层出不穷的需求，达到系统稳定性和可扩展性。逐步实现数据的共享和有效管理、通过数据分析支撑业务的优化和决策支持。

三、业务数据分析平台功能架构

平台要满足中央电视台企业数据整合和分析的需要，包括数据的抽取、导入、转换、映射、加载、分析指标和统计模型设定、多维展现、即席分析、仪表盘等日常数据的处理。另外，平台还要满足对企业数据管理的需要，以对数据安全性、数据质量等进行有效的管理。根据对中央电视台企业数据模型和关键数据流程的分析，结合数据状况和其他数据分析平台的实施经验，把业务数据分析平台的功能分为十大功能域，如图2所示。

1. 数据整合

数据整合是数据分析平台项目的关键部分，通过多种技术准实时或实时地从源系统中抽取数据，抽取过来的数据首先到达获取层进行预处理，经过映射、转换、检查、加载等工作到达存储层，形成数据分析平台的核心数据。

各业务系统数据或其他外部数据整合到业务数据分析平台的过程，需保证业务逻辑的一致性，确保数据的完整性、及时性、正确性和规范性，并能保证数据整合过程的安全性和效率。

2. 数据模型

数据分析平台的核心就是建立中央电视台的“数据地基”，“数据地基”就是构建符合中央电视台媒体行业特性的企业级数据模型。为此，需采用先进的媒体行业数据模型，结合数据和业务条件，定制中央电视台的企业级数据模型，不仅能支撑当前的接入数据，数据模型也能支持后续的可扩展。

业务数据分析平台和业务信息系统的服务目标不同，业务系统数据着眼于短期业务数据的存储，主要考量指标是数据的插入/更新速度；而业务数据分析平台着眼于长期业务数据的存储，主要考量指标是大批量历史数据的查询/统计/分析速度，这就必须有一个合理高效的数据模型。

3. 数据分析应用

数据分析应用是数据仓库和数据展现之间纽带，提供数据统计分析指标和数据挖掘功能，构建和管理数据分析指标模型和数据挖掘模型，对不同维度、不同颗粒度的数据进行总结归纳，并提供对外的规范化应用接口，实现与外系统的标准化数据交互，并为具有自主分析能力的业务分析人员提供自助构建数据分析指标的工具和方法，再通过可视化展现把数据指标展现给业务用户，为企业决策、预测提供有效的支撑。

4. 数据展现

数据展现是业务数据分析平台的“窗口”，借助各种有效、清晰、灵活的展现功能，可以帮助业务人员高效便捷地进行数据统计和分析。不同层级人员要求的数据展现形式不同（如图3），丰富多样的数据展现形式可以让使用者有更好的数据分析体验。

在数据分析平台的展现前端可以提供许多业务信息系统所不具备的方式，如即席分析、多维分析、仪表盘、预警分析等。通过为业务人员提供详实、快捷的数值数据和图形数据，激发并培养运用信息去把握企业运行状况、把握市场脉动的工作方式，能启发运用新的视角和思维看待和处理业务问题。

5. 元数据管理

平台的元数据（如图4），用来描述业务主题信息、数据源和非结构化信息、物理和逻辑数据模型、数据抽取和转换规则、数据的粒度和分割定义、数据质量管理方式及其他数据信息。

元数据是平台的知识中心，是进行数据管理的基础，为系统运行维护和业务用户使用平台数据提供帮助，可以帮助业务人员独立准确定位和使用平台数据，能有效支持系统维护和需求改进，促进不同业务系统数据交换，能够有效提高数据开发和分析效率。

6. 数据质量管理

影响数据质量的主要原因有数据源的问题、数据抽取时间点的问题、业务规则的问题、统计口径的问题，以及数据处理过程中的异常情况，包括准确性（业务规则和统计口径）、一致性、唯一性和参考完备性、完整性、数据类型和值域等。数据质量管理通过部署在元数据管理平台和一系列程序、脚本和检查规则，在数据分析平台范围数据流转的任何环节对数据进行质量检查。

7. 用户权限和审计管理

在业务数据分析平台中实现企业内部数据共享的同时，不同数据生产部门对生产的数据有不同的保密性要求，这就需要数据具有不同的访问权限，通过用户权限和审计管理功能，为数据建立一道可控的闸门，从而保证数据的安全性。

8. 系统数据和任务调度管理

业务数据分析平台通过数据配置、数据流程和任务调度的可视化和自动化管理，能快速满足用户数据统计分析的要求、解决数据流程问题和提高系统的整体效率。

9. 数据备份和恢复管理

业务数据分析平台以存储和利用数据为主，数据的丢失或其他风险，都有可能造成数据统计分析方面的错误，数据备份和恢复管理能够保障海量数据能够在很快的时间内完成数据的备份和恢复，保证业务运行的持续性，是数据利用精确性的保障。

10. 运维和监控管理

对于业务数据分析平台的软硬件资源、性能、端口、进程、服务等进行可视化、高效的监控和运维管理，统计分析每天的各种数据，及时发现性能瓶颈、指标波动、安全隐患等，并对问题追踪和处理，能更有效地保障业务数据分析平台的稳定运行。

四、业务数据分析平台技术架构

业务数据就分析平台的建设以数据平台软件为基础，把数据作为资产进行管理，建立企业级数据模型，并确保数据模型的全面性、可扩展性和适合中央电视台的企业特性。通过高度可配置和最佳业务实践等技术手段，以及可定制化的开发，建设标准化的系统来满足数据管理和分析应用需求，达到系统稳定性和可扩展性。并逐步实现业务数据的共享化、精确化和面向应用的技术要求。为此，平台在技术架构功能需要解决如下需求：

● 异构数据整合：数据分析平台需整合分散在不同架构、不同业务域的各种特性的数据，要求数据分析平台的架构满足不断扩展的异构数据的整合。

● 数据应用支撑：为满足个性化数据服务需求的增加，系统需支持数据挖掘工具、数据分析工具等更多应用工具的集成。

● 数据安全架构：业务数据分析平台集成全台的业务数据，面临的数据安全性更复杂、更不可控，业务数据分析平台要在整个系统框架上保证数据的安全。

基于中央电视台的业务功能和架构需求，业务数据分析平台构建三层体系架构，如图5所示。依据构建的数据规范和数据标准，通过平台的数据抽取工具和适合中央电视台数据的业务规则，把分散的企业数据整合到业务数据分析平台。数据层存放平台的核心资产：数据，包括临时数据、基础数据、汇总数据和应用数据等，数据仓库为数据层提供工具支撑，数据模型的规则通过数据仓库实现。应用层为数据管理和数据分析应用提供工具集合，通过元数据管理工具管理系统的管理、技术、业务等元数据，通过分析工具构建数据分析指标、数据挖掘模型，通过报表工具为数据展现提供丰富的图表式样等。通过此架构体系，既能满足现阶段业务数据分析平台的业务和技术需要，也能适应未来技术的变化和新的业务方面的需求。

五、结束语

业务数据分析平台通过制定数据标准和规范，整合全台的企业数据，进行数据治理和建模，为全台用户提供数据查询、分析和展现服务，对提高数据管理和分析水平，降低用户使用和利用数据的成本，提高数据价值的挖掘、数据对企业运营的决策支撑具有重要意义。

微信订阅号：科技微览