火山引擎 DataTester 上线全新 MAB 智能调优实验

手机

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

火山引擎 DataTester 上线全新 MAB 智能调优实验

2023-05-05 12:09:59 来源：博客园

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

近期 DataTester 上线了 MAB 智能调优实验功能，希望通过智能化、自动化的 A/B 实验形式，帮助业务团队实现收益最大化。

(相关资料图)

在 A/B 实验平台的研发道路上，火山引擎 DataTester 走在业内前沿，在常规的 A/B 实验之外，一直在探索实践智能实验。此次新功能 MAB 智能调优实验(Multi-Armed Bandit)，是一种能根据当前实验数据表现，来智能调整实验内不同实验组的流量比例分配的实验类型。

传统 A/B 实验依赖于统计显著性的经典假设检验，为对照版本和实验版本分配相应的流量，但在实验期间不能够变更每个子版本的流量。因此这类实验需要专门的预留周期（至少 7 天），必须有足够的样本进入实验，并且在实验开始后不能有任何变动，才能得出显著结果。而火山引擎 DataTester 的 MAB 智能调优实验，克服了传统 A/B 实验的上述限制，在如下几个场景上有特殊的应用优势。

在冷启动、流量少的场景下，MAB 实验也能发挥 A/B 实验的优势点。对于初创公司，或在产品、活动冷启动时期，面临的一大问题是没有足够的流量进行实验。但由于 MAB 实验会基于当下指标的表现动态进行流量分配，所以能够在总流量不多的情况下，通过 A/B 实验的形式将收益最大化。

有了 DataTester 的 MAB 实验，短周期的活动也一样可以依靠 A/B 实验进行优化了。活动运营有很大一部分是持续时间较短的活动，例如很多电商活动的持续周期只有 1-3 天，如果受限于传统 A/B 实验的限制，仅实验流量就要跑 7 天以上才能得到显著性的成果，无法应用在短周期活动中。而 DataTester 的 MAB 实验，由于实验核心目标是整个活动收益最大化，而非帮助用户找到数据最优组，因此对实验时限无要求，短周期活动也可以用 A/B 实验优化。

在促进高价值流量转化方面，MAB 智能调优实验可以起到加速作用。对于一些高客单价的大额商品，如汽车、钻石等，每一个转化机会的成本都很高。如果采用传统的 A/B 实验，在获得统计上显著方案的过程中，会错失一部分的前期实验流量，但 MAB 实验能够在过程中根据实时数据进行动态调优，减少实验过程中的转化机会损失。

此外，一些特定场景下，如涉及到 App 文案标题、缩略图、视频内容等的 A/B 实验优化测试，它们需要在短的窗口期内获得最大点击量，却受限于传统 A/B 实验实时性较弱，难以应用优化。而 MAB 可以在短周期内即可查询各版本的转化效果，火山引擎 DataTester 目前可以实现每半小时，即可获取更新数据反馈。

DataTester 是火山引擎数智平台旗下产品，能够深度耦合推荐、广告、搜索、UI、产品功能等多种行业场景需求，为业务增长、转化、产品迭代，运营提效等各环节提供科学的决策依据。

目前，DataTester 推出了 30 天免费试用的活动，在了解了 MAB 智能调优实验的应用场景后，如果你感兴趣，可以前往火山引擎 A/B 测试官网进行申请试用，无需企业认证，一键申请即刻开通！

点击跳转火山引擎A/B测试DataTester 了解更多

关键词：