深度学习核心技术精讲100篇（三十）-ClickHouse在字节跳动广告业务中的应用

Posted 2021-05-19 文宇肃然

前言

广告是支撑互联网高速发展的经济基石，也是很多互联网公司的重要收入来源。字节跳动的广告平台管理着 EB 量级的数据和服务着数以千万的商业用户，其中 ClickHouse 作为核心引擎支撑了海量数据在线分析的需求。本次分享，将介绍 ClickHouse 在字节跳动广告业务上的应用与实践，包含人群预估、数据分析、人群画像等多个场景。并重点介绍如何通过深度优化高效解决广告人群预估的问题，以及未来的迭代计划。

01业务背景

众所周知，广告是很多互联网公司的主要收入，对于字节跳动来说也是如此。那么，在字节跳动广告的 DMP&CDP 业务，乃至所有广告业务中，有哪些场景在使用 ClickHouse 呢？是在线服务还是离线统计的呢？应该说都有。

可以从三个场景来讲：人群预估、人群画像和统计分析。

人群预估：主要是根据一定的圈选条件，确认命中的用户数目。在广告精准投放过程中，广告主需要知道当前选定的人群组合中大概会有多少人，用于辅助判断投放情况进而确定投放预算。因为是在线业务，一般要求计算的时间不能超过 5 秒。

人群画像：主要是对广告投放的用户群进行画像分析，也是在线的，同样对时间有一定的要求，因为是偏分析的场景，一般不能超过 20 秒，否则用户的体验就非常差了。

统计分析：使用场景比较多，在线、离线都有，包括一些搜索词统计分析，广告、投放收入数据的分析等等，应用的方面很多。

今天主要分享的是人群预估，