跟着字节AB工具DataTester，5步开启一个实验

Posted 2023-03-21 字节跳动数据平台

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

 

火山引擎A/B测试平台DataTester孵化于字节跳动业务内部，在字节跳动，“万事皆A/B，一切可度量” 的实验理念广为流传，小到一条站外推送的消息，大到整个技术底层架构的优化修改，都会做A/B测试，甚至今日头条、抖音、西瓜视频等诸多产品的取名，也都和 A/B测试有关。

 

那么如何使用A/B测试平台开启一个实验呢？不同于外界对于A、B实验操作复杂的认知，其实使用火山引擎DataTester开启A/B实验的操作十分简单：实验初始时，接入A/B测试，在接入完成之后，开启实验共有9个环节，其中最后 5 个环节，均可以交由DataTester一站式智能化处理完成。

 

 具有字节特色的DataTester总结下来有以下六大亮点：

 

1. DataTester是一站式的通用的平台，不限实验的数量，并且可以支持正交和互斥两类的实验，同时还提供了一些高级功能，比方父子实验，还有些动态流量的一些智能实验。

 

2.DataTester可以适配非常多通用的场景模板。同时为了降低实验的门槛，衍生了一系列实验模板，可以通过可视化配置来进行实验的配置。同时DataTester还有一些垂类场景模板，用户可以直接使用，大大降低了实验或学习的成本。

 

3. DataTester有稳定可靠的分流机制。只有科学的随机分流或较稳定可靠的分流的结果，才能保证实验结论的可信度，因此可靠的分流机制十分重要。

 

4. DataTester具有强大灵活的人群定向的能力，可以支持 SDK 上报的属性事件流，还有用户画像标签的人群筛选，可以通过这些来进行人群定向。

 

5.DataTester除了实验报告之外，还额外提供了分析工具，可以帮助用户快速评估实验，用更好的结论来进行决策。

 

6.DataTester的实验报告和分析能力都是基于科学智能的评估策略的。 DataTester使用的统计策略跟字节跳动内部使用的是完全相同的，有两套分场景应用的评估框架并行在使用，而普通的A/B测试都是基于经典假设检验的。

 

目前，在外部客户的服务上，DataTester已覆盖推荐、广告、搜索、UI、产品功能等业务场景，提供从实验设计、实验创建、指标计算、统计分析到最终评估上线等贯穿整个实验生命周期的服务。来自得到、美的、凯叔讲故事APP等企业客户，已经通过火山引擎DataTeser开启了用数据驱动科学决策的道路。

 

点击跳转 火山引擎A/B测试DataTester了解更多