应用实践｜知乎用户画像与实时数据的架构与实践

Posted 2022-03-02 ApacheDoris

数据的及时性是指能否在需要的时候获到数据，数据的及时性与企业的数据处理速度及效率有直接的关系，是影响业务处理和管理效率的关键指标。

02    解决方案

（1）全流程的数据链路和各级质量保证方法

 

 

（2）业务架构

 

（3）业务流程

 

03    效果

（1）某业务健康情况监控

以通过 DQC 监控的某一个业务的健康情况，该业务由多个导出任务和中间计算任务及部分数据源组成，当前情况是一切正常。期间如果出现某节点任意异常后，都可及时发现。

 

 

（2）某任务中间逻辑监控

 该任务中间计算中其中部分规则未达标，导致该任务未通过。

04    收益

（1）上线前

早期无类似 DQC 系统保证的前提下，我们很多问题都是天级别甚至上线后，才发现存在数据异常，出现过 3 次问题，造成的返工和交付不靠谱的情况，对业务影响巨大。

早期开发中，在开发过程需要不断针对各种细节规则进行比对，总会花费一定时间逐层校验，成本巨大。

（2）上线后

在上线 1 个月内，通过 DQC 系统规则，当前已发现了 14 个错异常，在 1 - 2h 左右发现，立即修复。对业务的影响降低到最小。

在系统上线后，在开发过程中，开发完相关数据，如有异常，就产生了异常报警，大幅节省了人工发现的成本，因为修复时间早，在后续开发启动前，就已经修复，极大程度降低开发过程中的返工成本。

四、总结与展望

4.1 收益总结

4.1.1 业务发展方面

01    针对实时业务数据

提供了基于时效性的热点、潜力的把控。加速业务在生产、消费方面的使用，进而提升优质创作量及用户对内容消费能力。

同时提供了提供实时的复杂计算的外显指标，加强用户体验，下线了业务后端通过脚本计算指标的方法，降低了业务的复杂性，节约了成本，提升人效。

02    针对实时算法特征

提供了基于创作者、内容、消费者的实时算法特征，与算法团队共同在多个项目中，针对 DAU、留存、用户付费等核心指标有了明显的提升。

03    针对用户画像

完善和升级用户筛选，做到多维、多类型的定向筛选，并接入了运营平台、营销平台等系统，提高了业务效率，降低了业务人员进行人群定向的成本。

搭建和完善用户分析，做到多角度用户分析，定向用户分析报告 0 成本，助力业务部门快速把握核心客户市场。

4.1.2 工具建设方面

完成了实时数据领域和用户领域的布局，建设了相关的开发和维护工具，解决了先前在此方面无基础设施，无业务工具，开发成本高的问题。

搭建了集成、调度、质量系统。通过工具的方式降低了业务发展和迭代的成本，让业务快速发展，同时也保证了交付质量提高了业务基线。

4.1.3 人员组织方面

自上而下的拆分了实时数据和用户画像的能力，分为应用层、业务模型层、业务工具层和基础设施层。通过组织划分，明确了不同层次的边界和加速了业务目标的达成。

搭建并完善了多层次团队人员梯队。根据针对不同方向的同学，给予不同的 OKR 目标，做到跨层次方向隔离，同层次方向一致，同模块目标一致。共同为整体实时数据与用户画像服务建设而努力。

 

4.2 未来展望

 从 2021 年 8 月成立至今，我们一直思考如何提供更好的实时数据服务？实时数据能建设什么方面的应用，为业务创造价值？如何将用户画像服务做好？用户画像服务的筛选、分析能力如何为业务创造更大价值？摸着石头过河的同时，我们也在不断摸索和建设相关的业务能力和基础建设。在明年的发展中，我们还会针对以下方面进一步发展：

 

01    基于实时数据

强化基础能力工具层的建设，持续降低基于实时数据方面的建设、交付成本。

提升数据质量工具覆盖能力，为业务模型提供质量保障，并提供基于实时数据的画像质量保障能力。

基于当前业务诉求，部分场景针对 5 分钟级实时无法满足，进一步探索秒级别复杂情况实时能力，并提供能力支持。

02    基于用户画像

加强并针对用户画像、用户理解、用户洞察 & 模型等进一步建设。通过与具体业务结合，建设贴合业务场景的用户理解成果和相应的分析能力，找到业务的留存点。

进一步加强新的工具能力的建设，通过建设用户理解工具、用户分析工具，降低产生理解及对业务分析的成本，提升业务效率，快速发现业务价值。

---

- 作者介绍 -

侯容，知乎用户理解&数据赋能研发Leader，
主要负责实时数据、用户画像方向。

知乎平台团队招人啦，平台核心能力、用户理解、内容理解等方向工程和算法均有 HC，欢迎大家推荐或自荐 [e-mail]

—— End ——