# A/B 实验

# 1.什么是 A/B 实验

A/B 实验是一种比较两个或多个不同策略、设计或变化的实验方法，用于确定哪种策略对用户或业务的影响更大。A/B 实验可以帮助确定哪个实验组能够获得更好的用户反馈、更高的转化率或更好的业务绩效。

在 A/B 实验中，被实验的对象会被随机分成两个(或多个)组，其中一组是对照组，另外的是实验组。对照组使用当前的策略或设计，而实验组使用变化后的策略或设计。两组用户将在同一时间内接受不同版本的体验。

通过在两个组之间比较用户的反馈、行为或业务指标，可以判断哪个版本更具优势。这种测试方法可以用于验证各种变化，如不同的推送文案内容，不同的游戏礼包的价格，触达用户的方式或功能变化等。

A/B 实验的目标是基于实际数据和用户反馈来制定决策，通过不断地测试和优化，可以逐渐改进用户体验、提高转化率和增加业务收益。

# 2.功能概述

TE 的精细化运营模块支持 A/B Test 能力，通过在同一个运营任务中配置多组内容分流策略进行效果对比测试，帮助运营人员科学决策最优策略，以提高目标转化效果。

# 3.功能使用说明

# 3.1 开启 A/B 实验

在运营任务模块中点击 + 创建任务进入运营任务创建界面

此时您可以在推送配置中点击按钮【开启 A/B 实验】，此时该运营任务则会开启分流实验设置。

# 3.2 选择实验类型

用户可以选择任意一种 A/B 实验类型，分流实验或者赛马实验。

# 3.2.1 分流实验

将符合目标用户条件的人群按照抽样和分组比例随机分配到多个实验组中，同时推送多种方案进行对比，以验证方案的效果。
分流实验适用于分组对比推送策略效果的场景，不支持后续的全量用户推送。

# 3.2.2 赛马实验

目前只有触发式运营任务支持赛马实验。

在推送正式方案前，在实验组中小范围测试多种方案，在实验得出最优方案后，对目标用户进行全量推送。
赛马实验适用于实验后有全量用户推送需求的场景。
赛马实验支持在实验开始前和实验中期设置自动放量策略，以方便用户在实验得出了获胜组后，全量推送获胜组的内容策略。

# 3.3 分流实验配置

实验比例抽样

开启 A/B 实验后，您可以手动设置实验抽样比例，也就是灰度抽样比例。是指从目标用户中，随机抽取一定比例的用户进行 A/B 实验，而其他用户则不会被触达。

抽样百分比可以选取（0，100] 的整数值，您可以通过拉动滚动条或输入数值的方式设置。

实验周期

分流实验的实验周期和任务周期一致。

实验优胜指标

您还可设置本次 A/B 实验的优胜指标，目前支持选择和与该运营任务“主要目标保持一致”或者“点击率”，其中“点击率”需要先在通道管理对应通道的触达漏斗设置中配置"点击推送"事件。

实验分组设置

完成以上设置后，您还需要在推送内容中完成对照组与实验组相关内容的配置。

对照组使用当前的策略或设计，而实验组使用变化后的策略或设计。两组用户将在同一时间内接受不同版本的体验。

对照组

每组 A/B 实验默认有 1 个对照组，对照组支持选择是否对用户进行触达。

选择对用户进行触达时，对照组的作用和实验组一致，可以观测同时段用户对不同触达内容的反馈情况。

选择不对用户进行触达时，可用于评估对用户使用运营策略是否有效，可以观测对用户进行触达的实验组是否比对照组有明显的目标转化提升。

实验组

最多支持设置 4 个实验组，您可以通过点击右侧小齿轮来进行实验组的设置，支持添加和删除实验组并自定义实验组名称。同时，您也可以通过滑动滚动条的方式进行实验组流量的分配，系统会根据您的目标圈选人群，实验抽样比例和实验组流量分配比例预估出每个实验组的触达人数。

# 3.4 赛马实验配置

实验比例抽样

抽样百分比可以选取（0，100] 的整数值，您可以通过拉动滚动条或输入数值的方式设置。

实验周期

赛马实验一般会在整个运营任务周期的前半段进行。

赛马实验会随运营任务周期一同开始，实验的结束时间需要用户自己设定，实验结束时间不得晚于运营任务结束时间。当赛马实验结束并得出获胜实验组后，用户可以在剩余的任务周期中用获胜策略进行全量用户推送。

实验优胜指标

实验分组设置

完成以上设置后，您还需要在推送内容中完成对照组与实验组相关内容的配置。

对照组使用当前的策略或设计，而实验组使用变化后的策略或设计。两组用户将在同一时间内接受不同版本的体验。

对照组

每组 A/B 实验默认有 1 个对照组，对照组支持选择是否对用户进行触达。

选择对用户进行触达时，对照组的作用和实验组一致，可以观测同时段用户对不同触达内容的反馈情况。

选择不对用户进行触达时，可用于评估对用户使用运营策略是否有效，可以观测对用户进行触达的实验组是否比对照组有明显的目标转化提升。

实验组

全量推送组选择

用户可以选择开启自动选择全量推送内容开关，并选择全量推送的实验组。当设置好了以后，赛马实验结束时，若有表现最佳（获胜）的实验组出现，则会自动用获胜组策略进行全量推送。若没有获胜组出现，则会用用户选择的兜底策略组进行全量推送。

当然，若用户未开启自动选择全量推送内容开关，则可以在实验结束后，去【实验报告】页面选择手动放量。

# 4.实验状态

说明：【运营任务状态】是【A/B 实验状态】的父级状态, 运营任务的状态会影响实验状态，如运营任务暂停则实验暂停，运营任务结束则实验结束等。

运营任务状态有：“草稿”，“审批中”，“进行中”，“暂停中”，“已结束”，“已拒绝”
实验状态：描述该 A/B 实验当前的状态位，全部的状态有
- 实验未开始：运营任务在非结束状态下，尚未被推送过的实验
- 实验取消：运营任务成为 “已结束” 状态时，还未被推送过就已经关闭的实验
- 实验中：运营任务处于 “运行中”，且实验还在目标转化窗口期内的实验
- 实验暂停：当运营任务处于 “暂停中” 的状态时，实验同步进入 “实验暂停” 状态
- 数据回收中：运营任务处于 “已结束” 状态，但尚未到目标转化窗口期，数据依旧在动态统计中的实验
- 报告完成：运营任务处于 “已结束” 状态，且实验达到目标转化窗口期，实验报告完成，实验正式结束。
另，在「赛马实验」中，若用户开启了实验结束后自动放量策略，则实验到期结束后，开始放量。若用户选择了手动放量策略，则实验到期结束后，实验将进入【等待手动放量】状态。

# 5.实验报告

在 A/B 实验报告模块，用户可以通过可视化的方式获得对照组和各个实验组的结果数据对比，不仅能够通过精确的统计数据值判断优胜实验组，还可以动态地观察整个实验过程中的数据变化趋势。

# 5.1 报告入口

开启了 A/B 实验的运营任务，可以在运营任务详情页的【实验报告】Tab 页面查看 A/B 实验的实验结果数据。

# 5.2 报告介绍

# 5.2.1 基本信息

分流实验和赛马实验的基本信息排布一致。

实验报告的基本信息包括：实验周期，实验状态，实验优胜指标，实验推送成功人数，实验组数量。

实验周期：实验从开始到报告完成的时间
- 默认起时间：实验开始时间
- 默认止时间：今天，可选最大是报告完成时间
- 时间筛选器对实验报告的全局进行控制，对实验组的数据，优胜判定，和折线图的变化率有联动影响。
- 实验周期最大不能超过90天
实验状态：描述该 A/B 实验当前的状态位，具体可查看实验状态描述
优胜指标：判断该实验中获胜组别的关键指标
推送成功人数：该 A/B 实验所有实验组一共覆盖的推送成功人数
实验组数量：该 A/B 实验中，对照组和实验组一共的数量