# A/B 实验
# 1.什么是 A/B 实验
A/B 测试是一种比较两个或多个不同策略、设计或变化的实验方法，用于确定哪种策略对用户或业务的影响更大。A/B测试可以帮助确定哪个实验组能够获得更好的用户反馈、更高的转化率或更好的业务绩效。
在 A/B 测试中，被测试的对象会被随机分成两个(或多个)组，其中一组是对照组，另外的是实验组。对照组使用当前的策略或设计，而实验组使用变化后的策略或设计。两组用户将在同一时间内接受不同版本的体验。
通过在两个组之间比较用户的反馈、行为或业务指标，可以判断哪个版本更具优势。这种测试方法可以用于验证各种变化，如不同的推送文案内容，不同的游戏礼包的价格，触达用户的方式或功能变化等。
A/B 测试的目标是基于实际数据和用户反馈来制定决策，通过不断地测试和优化，可以逐渐改进用户体验、提高转化率和增加业务收益。
# 2.功能概述
TE 的精细化运营模块支持 A/B Test 能力，通过在同一个运营任务中配置多组内容分流策略进行效果对比测试，帮助运营人员科学决策最优策略，以提高目标转化效果。
# 3.功能使用说明
# 3.1 开启 A/B 实验
在 运营任务 模块中点击 + 创建任务 进入运营任务创建界面。
此时您可以在推送配置中点击按钮【开启 A/B 实验】，此时该运营任务则会开启分流实验设置。
# 3.2 配置实验
- 实验比例抽样
开启 A/B 实验后，您可以手动设置实验抽样比例，也就是灰度抽样比例。是指从目标用户中，随机抽取一定比例的用户进行 A/B 实验，而其他用户则不会被触达。
抽样百分比可以选取（0，100] 的整数值，您可以通过拉动滚动条或输入数值的方式设置。
- 实验优胜指标
您还可设置本次 A/B 实验的优胜指标，目前支持选择和与该运营任务“主要目标保持一致”或者“点击率”，其中“点击率”需要先在通道管理对应通道的触达漏斗设置中配置"点击推送"事件。
- 实验分组设置
完成以上设置后，您还需要在 推送内容 中完成对照组与实验组相关内容的配置。
对照组使用当前的策略或设计，而实验组使用变化后的策略或设计。两组用户将在同一时间内接受不同版本的体验。
- 对照组
每组 A/B 实验默认有 1 个对照组，对照组支持选择是否对用户进行触达。
选择对用户进行触达时，对照组的作用和实验组一致，可以观测同时段用户对不同触达内容的反馈情况。
选择不对用户进行触达时，可用于评估对用户使用运营策略是否有效，可以观测对用户进行触达的实验组是否比对照组有明显的目标转化提升。
- 实验组
最多支持设置 4 个实验组，您可以通过点击右侧小齿轮来进行实验组的设置，支持添加和删除实验组并自定义实验组名称。同时，您也可以通过滑动滚动条的方式进行实验组流量的分配，系统会根据您的目标圈选人群，实验抽样比例和实验组流量分配比例预估出每个实验组的触达人数。
# 4.实验状态
说明：【运营任务状态】是【A/B 实验状态】的父级状态, 运营任务的状态会影响实验状态，如运营任务暂停则实验暂停，运营任务结束则实验结束等。
- 运营任务状态有：“草稿”，“审批中”，“进行中”，“暂停中”，“已结束”，“已拒绝”
- 实验状态：描述该 A/B 实验当前的状态位，全部的状态有
- 实验未开始：运营任务在非结束状态下，尚未被推送过的实验
- 实验取消：运营任务成为 “已结束” 状态时，还未被推送过就已经关闭的实验
- 实验中：运营任务处于 “运行中”，且实验还在目标转化窗口期内的实验
- 实验暂停：当运营任务处于 “暂停中” 的状态时，实验同步进入 “实验暂停” 状态
- 数据回收中：运营任务处于 “已结束” 状态，但尚未到目标转化窗口期，数据依旧在动态统计中的实验
- 报告完成：运营任务处于 “已结束” 状态，且实验达到目标转化窗口期，实验报告完成，实验正式结束
# 5.实验报告
在 A/B 实验报告模块，用户可以通过可视化的方式获得对照组和各个实验组的结果数据对比，不仅能够通过精确的统计数据值判断优胜实验组，还可以动态地观察整个实验过程中的数据变化趋势。
# 5.1 报告入口
开启了 A/B 实验的运营任务，可以在运营任务详情页的【实验报告】Tab 页面查看 A/B 实验的实验结果数据。
# 5.2 报告介绍
# 5.2.1 基本信息
实验报告的基本信息包括：实验周期，实验状态，实验优胜指标，实验推送成功人数，实验组数量。
- 实验周期：实验从开始到报告完成的时间
- 默认起时间：实验开始时间
- 默认止时间：今天，可选最大是报告完成时间
- 时间筛选器对实验报告的全局进行控制，对实验组的数据，优胜判定，和折线图的变化率有联动影响。
- 实验周期最大不能超过90天
- 实验状态：描述该 A/B 实验当前的状态位，具体可查看 实验状态描述
- 优胜指标：判断该实验中获胜组别的关键指标
- 推送成功人数：该 A/B 实验所有实验组一共覆盖的推送成功人数
- 实验组数量：该 A/B 实验中，对照组和实验组一共的数量
# 5.2.2 实验统计结论
- 推送成功人数：每个实验组成功推送的人数
- 达成人数：每个实验组对「优胜指标」的达成人数
- 指标达成率：达成人数/推送成功人数
- 指标提升率：此提升率是指实验组指标和对照组指标对比提升或下降的变化率
- 实验判定优胜的规则
实验以“提升率” 的高低判定实验组的优胜，提升率是指实验组指标和对照组指标对比提升或下降的变化率，提升率最高的实验组为获胜组。若和对照组相比无明显能够提高指标达成率的实验组，则该实验无获胜的实验组。
- 提升率的置信区间：这里的置信区间是 指标提升率 的真实值可能会落在的区间范围，采用了显著性水平为 5% 的双边检验
具体计算逻辑：
- 实验组指标：M(实验)，实验组样本量：U(实验)
- 对照组指标：M(对照)，对照组样本量：U(对照)
首先分别得到实验组和对照组样本的标准差，因为是比率类指标所以标准差为
计算提升值与lift：
根据上面的计算结果，可得：
其中1.96是变量，根据不同的置信度换算过来，默认为95%置信度
- 结论
- 如果实验组百分比提升的置信区间下限为负，上限为正：变化不显著
- 如果实验组百分比提升的置信区间下限为正，上限为正：显著提升
- 如果实验组百分比提升的置信区间下限为负，上限为负：显著下降
- 操作
- 支持查看实验分组的具体推送内容
- 当实验报告产出获胜组时，您可以直接通过实验组后的复制按钮创建一个新的运营任务用于全量用户的推送。
# 5.2.3 实验数据变化趋势
在数据明细中，您可以看到批次视角下每个实验组的推送明细和目标完成情况
以及支持「按天」查看指标达成率的变化趋势图
