帮助中心 > 功能手册 > AB测试 >如何从0到1开始试验？

开启A/B试验是因为它提供了一种科学、数据驱动的方式来优化产品、提高转化率、减少决策风险，并帮助企业根据用户反馈和行为做出更精确的调整。这不仅有助于短期业务目标的达成，还能够支持长期的持续优化和创新。

1.前置条件

  • 接入平台SDK
    完成ABTest SDK接入步骤，获取分流接口，完成ABTest SDK初始化配置。SDK配置代码模版参考技术文档。

  • 配置AB元事件属性
    每一个项目需配置AB元事件属性，配置内容参考技术文档。

  • 确认埋点事件
    针对参与AB试验的不同功能模块，在海纳云平台上绑定不同的埋点事件，用于后续的指标设计。 分析云的对应事件可以同步使用，如有其他个性化需求，建议添加埋点事件，具体可前往【元数据管理】查看。

2.试验设计（仅提供思路）

核心思路：分析&拆解一个业务问题，设定优化方案、评价的试验指标并且通过AB试验来验证效果。
以下通过举例来引导试验设计，当然依据实际业务，大家在进行试验设计时可以多维度拓展场景，并依据场景进行多个并行的AB试验。

  • 业务背景
    场景案例：该公司提供SaaS产品能力，在对官网及其不同落地页进行分析的过程中，发现各产品的购买落地页点击率偏低，通过转化漏斗定位问题是触发点击率过低，影响了各产品购买转化的机会。
    根据上面的分析，自然想到就是去提升官网首页的介绍，增加产品曝光的位置，进行布局的优化，给产品购买页添加更多的点击入口，那么有几个问题？
  1. 什么产品用户的点击率较高？
  2. 页面布局如何修改？
  3. 在哪里添加产品落地页入口？
  4. 以什么形式添加入口？
    针对这些问题，需要定位目前用户主要的流量去向，明确热度较高的产品模块，尝试在对应的流量场添加体验或者登录入口，验证转化效果。

  • 试验目标
    目标：对小范围的新增用户，在满足用户体验的前提下，提供更优质的产品服务
    试验指标：新增用户数、落地页点击率、转化漏斗
    试验假设：通过不同的布局设计、产品落地页的不同入口设计，可对点击率提升n%，更好服务客户。

  • 试验设计
    简单罗列需考虑的内容，具体的试验设计围绕实际的业务形态。
    试验类型：编程试验
    试验受众&流量：新增用户，按照新增用户数比例，初始可设定较小试验流量比例
    试验变量：需明确变量的定义和控制，例如：不同落地页入口url为变量，其他因素如产品介绍布局等其他因素保持不变。
    试验分组：假设团队讨论设计出三个不同的入口，可以设定四个试验分组：一个对照组，三个试验组。
    试验指标：重要指标：点击率，关注指标：新增用户数、多个不同落地页入口的转化率

3.创建试验

平台入口：海纳云平台—【AB测试】—【试验列表】—创建试验

第一步：输入基本信息
名称：唯一，描述试验目的。
描述：简述试验目标、预期效果。
时长： 至少7天，建议14天以上，覆盖工作日和周末。

第二步：选取试验受众
试验层： 选择流量互斥的试验层，避免试验干扰。
流量分配： 设置参与试验的用户比例，初期建议小流量测试。
受众选择：全部用户： 所有活跃用户参与；自定义用户： 按用户分群、标签、属性筛选目标用户。
用户变更： 根据需求选择是否动态调整用户分组。

第三步：配置分组规则
分组数量： 对照组+试验组 ≤ 10个。
流量分配： 平均分配或手动设置各分组流量。
分组信息： 自定义组名、描述，添加调试设备。
试验参数： 设置试验变量，需提前预置到应用代码中。

第四步：添加试验指标
创建指标： 设置指标名称、描述、分组、指向（正向/负向/中性）。
指标类型：检验类： 用于统计显著性检验，如点击率、转化率；业务类： 用于观察整体业务变化，如DAU、GMV。
添加已有指标： 从指标库中选择已有指标绑定试验。

*请注意该部分详细可参考 ：试验指标管理

4.运行试验

当创建试验完成后，试验处于“调试中”状态，此时可以通过添加的测试设备，看下我们配置的试验分组版本，是否实际生效，观测该策略的实际效果是否满足试验要求。

如果满足要求，我们可以点击“上线”，试验正式进入运行状态，按照选取的受众范围，真实用户会按照流量分配比例，随机进入不同的试验分组，我们可以通过试验报告来分析试验结果是否符合预期。

5.查看试验报告，分析结果

试验结果需要从两方面评估：第一是指标数据的增减；第二是判断是否可以相信指标数据，即结果是否“显著”。
通常在创建A/B试验时，已添加试验指标，并且可设置重要指标，您可以在试验配置页面确认试验的配置结果；在试验报告页面看到对应试验指标的列表。
此外A/B试验的核心是通过假设检验来判断多个组之间的差异是否具有统计学意义。统计学告诉我们可以通过一些统计学方法，在得出试验数据结果的过程中，计算试验结果错误发生的概率。换句话说，我们可以判断我们的试验有多少的概率是可信的。
通过置信区间、P值、统计功效，您可以在试验报告页面的指标数据旁看到置信区间、P值、统计功效的计算结果，可以明确试验结果是否显著。

如果想了解置信区间、P-value、统计功效的计算逻辑和样例，欢迎阅读统计指标解读（置信区间/P-value/统计功效）