数据智能构建管理平台Dataphin V2.9.4.3版本发布

Posted 2021-08-11 阿里云云栖号

简介： Dataphin发布V2.9.4.3版本升级多项产品能力，该版本在产品功能和用户体验上都进行了优化和提升，旨在为用户提供更完善的产品能力和体验，以加速企业数据中台建设进程。

1 产品简介

Dataphin是阿里巴巴集团OneData数据治理方法论基于内部实践的产品化输出，一站式提供数据采、建、管、用全生命周期管理的能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算引擎支持及可拓展的开放能力，以适应各行各业的平台技术架构和个性化诉求。

2 版本概览

2021年6月，Dataphin发布V2.9.4.3版本，升级多项产品能力。

• 平台能力上，拓展计算引擎丰富度和OpenAPI覆盖度
• 数据集成模块，拓展支持的mysql数据源版本和一键建表覆盖范围，以提升配置效率
• 监控能力上，优化告警接收规则配置，提提升灵活性适配更多监控场景
• 资产中心，优化逻辑表预览及敏感字段识别规则，完善资产链路
• 数据服务拓展API分页查询能力，以拓展查询范围，提升服务响应效率和链接稳定性

该版本在产品功能和用户体验上都进行了优化和提升，旨在为用户提供更完善的产品能力和体验，以加速企业数据中台建设进程。

3 新版本重点特性详解

特性1：计算引擎新增支持CDH6

新增针对CDH6计算引擎的适配，以提升多引擎兼容能力；截至当前版本，Dataphin支持的计算引擎类型包括：MaxCompute、CDH5、CDH6、EMR。

特性2：MySQL数据源支持8.x版本

目前，8.0是市面上比较主流且使用度较广的MySQL数据库版本。Dataphin在已经支持MySQL 5.6和5.7数据源的基础上，新增支持MySQL 8.0版本，可以在数据同步、数据服务等模块基于该数据源进行配置，以提升业务数据覆盖度。

特性3：数据集成支持在Oracle目标库一键建表

支持在目Oracle目标库一键创建数据建表，以简化配置流程，提升数据同步配置效率。截至当前版本，一键建表功能一共覆盖4种目标数据源：MaxCompute、Oracle、Hive、AnalyticDB for PostgreSQL。

特性4：任务运行监控和质量监控支持给不同的接收对象指定不同的告警和接收方式

升级前，针对所有选中的接收人，均需要配置相同的告警接收方式。升级至本版本后，针对不同的接收人类型，可以指定不同的接收方式，以根据实际情况实现区别告警。如：任务负责人需要了解自己所负责的任务运行概况，但不需要立即处理异常情况，可以选择短信告警；值班负责人需要及时发现异常并处理，可以选择电话作为强提醒；项目管理员需要定期统计告警概况，可以选择邮件告警以方便记录和统计。

特性5：资产地图新增逻辑表数据预览功能、资产安全支持手动触发敏感字段识别

新增逻辑表预览功能，针对有权限的字段，直接展示抽样的数据记录，若字段设置过脱敏规则，则仅展示脱敏后的数据；针对无权限的字段，提示“无权限”字样并提供快捷申请的跳转链接。结合该功能，Dataphin完善了逻辑表从研发到资产沉淀到消费预览的全链路，提升了建模体验。

默认情况下，在资产安全模块配置了敏感数据识别规则后，次日开始每日定时进行扫描。本次在每日定时扫描的基础上，新增支持用户手动触发敏感数据识别任务的运行，以实现新增规则立即生效，以及临时变更场景下的记录及时更新，提升敏感数据识别覆盖场景。

特性6：数据服务支持基于Impala数据源创建的API分页查询，以拓展查询范围，提升查询稳定性

历史版本中，考虑到查询性能，基于Impala数据源创建的的API单次查询仅支持返回最大1000条结果，无法满足大数据量查询场景，影响下游业务使用。本次针对基于Impala数据源创建的API，提供分页查询能力，支持通过limit或offset语句设置分页条件，以保证服务连接稳定性和相应效率，支持大数据量查询的场景。

4 总结与展望

本次发布的V2.9.4.3版本中，Dataphin围绕计算引擎、数据源、数据集成、监控告警、数据服务进行了功能迭代升级；在下一个版本中，我们将重点支持FusionInsight计算引擎适配、数据萃取升级、OpenAPI扩展、运维补数据能力提升、数据服务多项目等功能，敬请期待！

原文链接
本文为阿里云原创内容，未经允许不得转载。