数据管理平台（DMP）简介

Posted 2022-04-09 东海陈光剑

术语说明

数据管理平台 (DMP，data management platform)

客户数据平台 (CDP，customer data platform)

客户关系管理 (CRM，customer relationship management)

数据仓库 (DW，data warehouse)

DMP 简介

Big Data AS Service

A data management platform (DMP) is a software platform used for collecting and managing data. They allow businesses to identify audience segments, which can be used to target specific users and contexts in online advertising campaigns. DMPs may use big data and artificial intelligence algorithms to process and analyze large data sets about users from various sources. （From Wikipedia）

DMP ，Data Management Platform，aggregates all kinds of data from various sources, including online, offline or mobile sources, by allowing users to access that data in various ways.

DMP 之于数字广告就像引擎之于汽车。它们有助于在网站、电子邮件、移动应用程序上打造更好的个性化内容。

根据Digital Journal的一份报告，DMP 市场预计将以 15% 的复合年增长率增长，到 2023 年达到 30 亿美元。DMP 的用例涵盖电子商务、汽车、零售、房地产、旅游和酒店和金融产品。

要使移动广告取得成功，品牌营销人员必须能够正确识别和定义其广告系列的目标受众。在正确的时间向正确的人展示广告是 DSP（需求方平台）子系统的关键任务之一。

然而，在广告生态系统中，广告所针对的这些细分受众群的创建和管理是由称为 DMP（数据管理平台）的子系统完成的。典型的 DMP 是一个大规模的数据存储，其中用户活动以结构化的形式存储。处理该数据并将每个用户分类为一组组，称为受众细分。这些段以及其他用户属性需要通过 API 轻松查询。

The core idea behind a DMP is that businesses must be able to take advantage of diverse kinds of information from a variety of sources and collect that information in one central place in order to attain the business intelligence that truly benefits the enterprise.

DMP 可以通过以下几种方式提高效率，从而有助于简化搜索活动：

• 针对高价值受众的优化消息和出价

传统上，在发起定位活动时，所有搜索者都会受到平等对待。绩效报告不会区分已经研究过产品的人和一般搜索的人。在这种情况下，DMP 可以帮助识别和以不同的方式接触这些客户。借助 DMP，品牌可以通过优先考虑预算或为不同的受众创建不同的活动，对这些拥有丰富数据的高价值受众（网站访问、电话、查询等）进行竞价。

• 桥接线上和线下细分

发起搜索活动时经常面临的一个挑战是，一旦潜在客户表现出兴趣，就会缺乏对其线下活动的了解。DMP 有助于创建从网站到线下体验的活动。

• 添加跨设备洞察

当搜索不再有单一的入口点或连续性，并且已经分布在各种设备上——笔记本电脑、移动设备、平板电脑；绘制客户购买旅程可能很乏味。

DMP 通过确定性和概率性方法很方便地将用户连接到他们的各种设备。与通常不透露他们使用哪些信号或方法将设备拼接在一起的搜索引擎相比，这种方法更加透明，并为广告商提供了控制权。

• 跨所有渠道的一种体验

搜索作为一个渠道是独特的、低漏斗和高意图的，这使得指标与其他数字渠道非常不同。但是，所有广告商都希望品牌凝聚力，他们所有的搜索广告系列都使用与展示广告和社交广告系列相同的语言。

当这些活动由不同的团队管理时，每个团队都使用独特的受众数据库，这可能是一项具有挑战性的任务。DMP 通过确保在所有营销工作中使用相同的受众定义来简化这一挑战。

• 隐私至上

最近 GDPR 事件的转变，对隐私的关注是最重要的，因为数据得到了更好的保护。DMP 可以通过添加额外的隐私层和隐私控制来提供帮助。DMP 将确保您的数据只属于您，并帮助您的品牌获得定制搜索广告系列所需的洞察力。

DMP 具有适用于所有类型的企业和行业的用例：

行业/业务类型	DMP 用例
电子商务	基于页面深度的重定向 所花费的时间 消费内容 在网站上采取的行动 添加到购物车的商品 产品价值 产品销售价值
房地产	基于电子邮件 ID/电话号码的 CRM 系统中的目标受众 收集填写表格的人的电子邮件 ID 需要知道哪些电子邮件 ID 来自我们的 DMP
理财产品	根据股票市场指数的走势定位广告
旅行	在航空公司网站上跟踪转化的 PNR 号或预订号
电信	登陆客户 Facebook 或 YouTube 页面的用户 针对计划即将到期的人
耐用消费品	按设备定位用户，他们将哪些产品添加到购物车等。 在 Facebook 上定位用户并展示访问过该网站但尚未转化的用户
汽车	与汽车门户合作以传递给观众（如果我们直接与他们打交道）
B2B	能够找到与我们当前受众相似的受众——人力资源专业人员、CIO/CTO 等。
快消品	能够精确定位人口统计受众。例如，女性 25-35 的准确度（DSP 也能以 70% 的准确度工作） 如何通过交叉 DSP 定位、第三方数据和来自面向女性的网站的数据来实现 90% 的准确率

架构挑战

但是，尽管市场上有各种现成的解决方案，但 DMP 的实施充满了挑战。为了取得成功，首席信息官必须克服这些挑战：

挑战：

1. 跨设备和渠道的受众绩效可衡量性，包括实时和离线。

2. 加入第一方、第二方和第三方数据受众的规模和有效性

3. 能够跨渠道（包括离线）大规模联合自定义受众

4. 在 Facebook 等平台上缺乏对消费者的完整视图

5. 跨设备链接的准确性，以一致和准确地识别消费者

6. 与 DSP 和广告服务平台集成后的受众数据丢失

7. DMP 提供的数据像素太大，无法在第三方合作伙伴中实施

良好的架构设计是克服这些挑战的关键，将来自各种来源的数据拼接在一起，共同开发受众的 360 度视图。

DMP 的六阶段架构：

1. 数据源识别——识别所有数据源是第一步。这些来源可以是第一/第二或第三方，例如 WebApp、移动应用、CRM、合作伙伴数据、SAP、Retail Transactions、Google AdWords、社交网站（例如 FB 等）。

2. 数据聚合——数据聚合是第二个也是关键步骤之一，由现有解决方案（例如 Google Tag Manager 或 Tealium）执行。只有跟踪代码管理器 (GTM/ Tealium) 提供的脚本用于客户的代码库，它会提取所需的完整分析数据。跟踪代码管理器在内部配置所有其他分析代码。

3. 数据收集和处理——此步骤利用外部系统（Kochawa、AppBoy、Google AdWords、FB Analytics、AppFlyer）来获取和处理数据。一种收集跨渠道/设备数据的简单方法。标签具有特定的功能，应根据要求进行审查和选择。这些标签用于捕获在数据源（网站或应用程序）上执行的用户操作数据。

4. DMP – 步骤 3 中的完整数据集在存储到 DMP 之前经过清理、分类、拼接、处理和分析。在这个阶段，DMP 是一个数据存储单元。选择 S3、AWS EMR、RDS、Redshift、Apache Hadoop、Hive 等最佳云存储势在必行；并基于数据量、性能或其他非功能性参数。

5. 数据分析——几乎是最后一步，数据分析构成了添加机器学习算法（基于 R/Python/SQL/Spark）的基础，以构建客户档案、相似模型、细分和自定义受众。离线条款是根据客户的需求和要提供的数据量进行的。

6. 仪表板/发布数据——在最后阶段，仪表板包含所有报告。所有实时和离线数据都通过安全的 Rest API 显示给另一个第三方、DSP 的广告服务平台。电子邮件通知服务还与 DMP 集成，以向目标自定义受众推广客户广告/优惠券/优惠等。

数据量和查询的多样性的架构挑战。完整的 DMP 解决方案需要部署和维护多少种不同的技术？任何经营过创建和管理大型数据管道集群的工程组织或运营团队的人都会面临这一挑战。因此，一个重要的架构目标就是——最小化和简化技术栈。在传统的基于开源的方法中，技术堆栈可能如下所示。

上述目标指出了架构考虑的三个重要方面。

1. 数据库系统的选择：像 Parquet 一样的列式，像任何 RDBMS 一样面向行，或者像 HBase 一样面向列族，或者离线的 Hive+Spark，实时 OLAP ClickHouse 数据库等。尽管出于实际原因，可以将 RDBMS 选项排除在 DMP 用例中。

2. 表策略：事件日志表、聚合表、聚合策略、视图表。主键和其他列。

3. 数据分布策略：分片策略、分区策略。

一个强大的 DMP 可能会每天构建数以千计的细分市场。因此，这些段构建查询应该在几秒钟内完成。此外，这些查询对 DMP 中正在进行的更新/插入操作的影响应该最小。这给数据库设计、表模式设计和查询设计带来了严峻的优化挑战。

DMP 让数据释放价值

DMP 技术对数字广告行业非常有帮助。它可以帮助您管理您收集的所有数据。更重要的是通过使用该平台，您可以在您的在线活动中使用有关您的客户或访客的数据来提高其有效性。

DMP 在以下方面为您提供帮助：

• 收集数据- 正如我们之前所说 - 您可以处理从各种来源（在线和离线）收集的所有数据。

• 整合数据- 通过使用机器学习算法，DMP 整合数据，这使得查看完整的客户视图成为可能。

DMP 收集有关用户的数据并集成所有数据类型：第一方、第二方和第三方数据。DMP 允许营销人员组织和管理来自各种来源的所有客户数据类型：

1. 为特定品牌创建细分市场

2. 根据特定市场划分客户资料

3. 创建自定义细分，例如购买特定产品、访问特定类别或成为特定活动目标的用户

4. 激活数据- DMP 提供与市场中的技术合作伙伴（包括广告服务器或 DSP）激活数据的能力。

The collected information is really detailed and contains:

• clicks

• downloads

• history of visited websites

• interests (football, automotive, sports etc.)

• purchase intentions

• demographic data (age, income etc.)

You can also integrate your owned data (1st party data) with 2nd and 3rd party data. 2nd party data is collected in a result of cooperation with your business partners and includes online campaigns data or customer journey data. 3rd party data is delivered by data providers from all around the world.

DMP vs. CRM vs. CDP vs. DW

数据管理平台（DMP）

数据管理平台是我们列表中另一个强大的数据聚合技术。这些平台已成为数字营销和广告中最有用的工具。通常与简单的数据库相比，但它们的功能远远超出了存储信息的范围。

DMP允许营销人员和广告商从各种来源收集有价值的信息，进行分类、分析和最终细分，以便将其传递给广告商，通常是通过他们的 DSP。因此，该平台允许广告商在正确的时间向正确的受众提供定制的信息。

客户关系管理（CRM）平台

客户关系管理 (CRM)工具是另一个数据聚合平台。它是一种技术，可让您收集和存储有关客户和潜在客户的信息，处理与客户的互动，并在整个客户旅程中自动化各种营销计划的流程。

该工具专用于协助销售计划并促进与客户建立持久的关系。借助 CRM 系统，您可以收集范围广泛的数据，从客户联系信息到潜在客户的状态和客户沟通偏好等等。

可以通过与第三方来源的各种集成来自动填充数据。这会显着影响您的时间管理，让您有更多时间用于营销策略和其他计划。

CRM 的主要重点是培养良好的关系并监控客户和潜在客户与贵公司的互动。所有这些步骤对于客户获取和保留都至关重要。

客户数据平台（CDP）

客户数据平台是正在讨论的数据平台中的最新参与者，它们是最强大的数据收集工具之一。有充分的理由 CDP 被称为智能营销堆栈的大脑。CDP 可让您统一分散在多个渠道和来源的大量数据。

数据仓库(DW)

数据仓库充当集成数据的中央存储库，这些数据来自各种来源，如事务系统、关系数据库等。

更重要的是，可以在特定的主题领域执行数据仓库。因此，您可以从数据仓库创建数据集市，这些数据集是为组织内某些团队、部门或部门的不同需求而存储的数据子集。

计划数据收集至关重要，这样您就可以在以后使数据更有用。但在事务数据流入仓库之前，它会被集成和转换。一旦存储起来形成一个综合数据库，它就可以作为构建报告、仪表板、分析解决方案和其他即席查询的基石。

最后，业务分析师、营销人员和其他决策者可以通过以下方式访问数据：

商业智能工具

SQL客户端

Other分析软件

以控制业务绩效并做出更明智的决策。

小结

DMP 执行一些与其他营销技术相同的功能，例如数据分析平台、需求方平台或客户数据平台。但是，有一些重要的区别。

DMP 执行分析的广度和深度不如独立数据分析平台，因为该技术仅收集某些类型的数据，并且仅分析来自数字渠道的广告效果。

DMP 也无法自行开展广告活动。它们与提供广告的需求方、供应方或媒体平台连接。事实上，DMP 通常嵌入到营销云平台、广告技术平台或媒体生态系统等解决方案中，作为这些更大平台的一个组成部分。

鉴于其优势和局限性，DMP 可以成为实现更有针对性和个性化广告活动的关键工具。

DMPs perform some of the same functions as other marketing technologies, like data analytics platforms, demand-side platforms or customer data platforms. However, there are important differences.

DMPs don’t perform the same breadth and depth of analysis as stand-alone data analytics platforms because the technology only gathers certain kinds of data and only analyzes ad performance from digital channels.

DMPs can’t operate ad campaigns on their own, either. They connect with demand-side, supply-side or media platforms, which serve the ads. In fact, DMPs are often embedded in solutions like marketing cloud platforms, adtech platforms or media ecosystems as one component of these larger platforms.

Given their strengths and limitations, DMPs can be a key tool to enable more targeted and personalized ad campaigns. Many marketers already have them in their technology mix — although some may not know it.