应用火山引擎 DataTester“避坑”，抖音实现用 A/B 实验快速试错

Posted 2023-04-11 字节跳动数据平台

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

 A/B 测试产品可以说是企业科学决策的基础“设施”，能够帮助企业快速迭代产品。

在字节跳动，每一个产品功能上线前，都会先在火山引擎 A/B 测试产品 DataTester 上进行小流量验证，结合业务逻辑对结果的分析理解策略生效过程，而后再对方案进行修正、尝试创新，推动整个产品和业务的持续迭代。

抖音上，早期有一个功能“弹幕”功能设想，目的是强化熟人社交的互动性，产品团队希望围绕熟人社交进行功能拓展，以激励用户多看视频、多发作品。

产品团队借鉴长视频的弹幕功能提出了一个想法——在抖音短视频中增加弹幕互动的功能，当用户观看熟人（好友）的短视频作品时，该视频的相关评论通过弹幕的形式展示，让用户有更多的互动机会并感受互动的快乐。

这个功能设计初衷是很好的，但它对于产品所带来的影响是正向还是负向，需要通过 A/B 实验进行评估验证。DataTester 就帮助团队快速试错，避免了不合适的功能上线后为产品带来的负向影响。

如图所示，该团队在 DataTester 中设计了这样一个实验：

• 图一是对照组，产品界面维持抖音原样，没有弹幕功能。

• 图二是实验组 1，由于弹幕功能对抖音而言是大型改动，会直接影响产品主界面布局，所以产品团队在实验组 1 中做了一个激进的尝试，他们将视频的文字描述区域全部去掉，替换为弹幕互动功能；与此同时，为了界面的美观简洁，将抖音右侧原本的互动区收入了“更多”的按钮中。

• 图三是实验组 2，为了减少产品改动过大对用户带来的不确定影响，这个版本的产品设计保留了产品原有的互动等其它功能。

从 DataTester 的实验结果数据看，两个实验组的互动率确实有着显著提升，达到了功能设计时“提升互动率”的初衷。但观察新方案对抖音大盘核心指标影响时发现，这个功能对抖音整体视频的浏览量、用户投稿率、用户整体留存率均有负向影响，上述指标均出现了不同程度的下降。A/B 实验清晰地表明，这个功能虽然能提升抖音的互动率，但却不利于用户的整体使用与留存。因此这个看上去很好的改动并未在抖音全量上线。

之后，抖音围绕弹幕类的产品优化探索并未停止，通过更多次的假设与 A/B 实验验证，这个功能后来加入了抖音的个人页位置中。当它被放在了恰当的位置，也能为产品的指标带来正向的提升。从这个案例中也可以看到，DataTester 起到了帮助业务实现科学决策的能力，业务能够大胆创新的同时，也能科学验证每次创新是否真正有效。

像这样的 A/B 实验，在字节跳动已经开启了 150 多万次，每天都有 2000 多个新的实验上线，在 DataTester 上同时运行的实验有 3 万多个。

作为字节跳动内部使用多年的 A/B 测试平台，DataTester 有支持多种复杂 A/B 实验的能力和科学的分流能力。它能够深度耦合推荐、广告、搜索、UI、产品功能等多种业务场景需求，为业务增长、转化、产品迭代，策略优化，运营提效等各个环节提供科学的决策依据。

目前，火山引擎 DataTester 已经对外服务了美的、得到、凯叔讲故事等在内的上百家标杆客户，将成熟的 " 数据驱动增长 " 经验赋能给各行业。

 

点击跳转 火山引擎A/B测试DataTester 了解更多

火山引擎 DataTester 推出可视化数据集成方案

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

随着数字化的长期演进，企业中往往存在多个运行在不同平台的数字系统，这些数据源彼此独立，数据跨系统间的交流、共享和融合均有隔阂。而今越来越多企业认可 A/B 实验所带来的价值，希望将实验纳入整个业务流程中时常会面临这样的场景——想接入A/B实验平台，但有大量埋点数据需要重复建设。

如何减少基础数据的重复建设，快速将 A/B 测试平台嵌入业务成为很多企业的痛点。

近期，火山引擎 DataTester 推出可视化数据集成能力，可以帮助企业实现对历史数据资产的直接复用。为了更低成本支持数据集成的需求，DataTester 还采用了可视化数据集成的方式支持 Kafka 消息订阅，企业可通过创建并执行数据集成任务，将已有的行为分析数据上报至火山 DataTester 数据服务。

火山引擎 DataTester与客户平台交互方式

如果企业使用的 A/B 实验平台没有可视化数据集成时，往往会面对：

• 重复建设增加成本：企业已经自有埋点系统或使用了其他的系统，埋点重新建设会增加成本；
• 研发投入高：如果通过 ETL 支持的方式进行行为分析数据接入，要约 8 人/天左右完成需求对接和开发支持，且维护成本高。

而 DataTester 推出可视化数据集成中，包含“数据集成市场”、“数据集成管理能力”两大方面的能力，均可缩短数据集成的周期,大幅降低企业的接入成本。

“数据集成市场”能力支持企业自定义 Kafka 数据源，企业可以在页面设置数据源连接、映射同步行为分析数据；也可以上传配置，同步行为分析数据；此外，企业如果同时使用外部其他厂商提供的服务，能通过 DataTester 的数据同步模板完成接入。“数据集成管理”能力可以支持企业通过可视化的简易形式，连接数据源、配置映射字段、保存任务。

DataTester是火山引擎数智平台旗下产品，能够深度耦合推荐、广告、搜索、UI、产品功能等多种行业场景需求，为业务增长、转化、产品迭代，运营提效等各环节提供科学的决策依据，让业务真正做到数据驱动。

目前，火山引擎DataTester已经服务了美的、得到、凯叔讲故事等在内的上百家标杆客户，将成熟的 " 数据驱动增长 " 经验赋能给各行业。

点击跳转 火山引擎A/B测试DataTester 了解更多