试验层管理
1 概述
“试验层”是试验的集合,主要作用为保证试验间的流量隔绝,确保试验的效果可追溯到某单一变量上。
2 位置和使用权限
操作位置:ABTest—试验层管理
使用权限:不同的项目角色操作权限如下
项目角色 | 权限 | 权限明细 |
管理员 | 查看、编辑、复制、删除 | 新增试验层,选择试验层类型,分配试验层流量 |
分析师 | 无权限 | 无权限 |
普通用户 | 无权限 | 无权限 |
3 页面概览
为了让多个可能产生相互干扰的试验同时运行,需要将这些试验加入到同一个试验层中,用户进入试验层时只能命中该试验层中的一个试验。
4 功能结构
4.1 试验层列表
试验层列表页中展示试验层分组信息、当前以及创建的试验层。包含了名称、在运行的试验数量、当前流量剩余情况、描述、分流主体类型、试验层类型、创建时间、创建人。
- 试验数量:取自【操作-分配流量】的【当前占用流量的试验数量】,计算公式: “试验状态”为“运行中”的试验数量 - “试验状态”为“运行中(暂停)”的试验数量。
- 剩余可用流量:取自【操作-分配流量】的【剩余可用流量】,计算公式:100% - “试验状态”为“运行中”的试验占该试验层的比例 - “试验状态”为“运行中(暂停)”的试验占该试验层的比例。
4.2 新增试验层
试验层名称:长度不超过100字符,首尾不能为空格,名称不能重复。
分流主体:默认为海纳ID,不可编辑。(海纳 ID:标识用户的唯一 ID,海纳 ID 将关联用户的登录 ID 及登录前 ID,用户登录前后会被识别为一个用户进行分流)
试验层类型:默认为“粘性试验层”。
注:粘性试验层
一般的A/B测试,往往需要保证用户在整个试验生命周期内,始终保持一致的命中策略。因此在用户请求分流后,即使后续调小试验占用的试验层流量比例,对于已在分流服务端计算生成分流结果的用户,无论其是否在客户端命中过该试验,也不会因为流量调小而出组;在调整各试验组的流量比例时,也不会进行跳组,以此来保证试验策略的一致性。符合这种分流策略的试验,我们定义为“粘性试验”。
因此,在粘性试验层中的试验,用户一旦进组后就不会再出组。
非粘性试验层
然而在某些特定场景下,例如当一个分组指标明显低于预期时,需要通过减小改该分组的流量比例,使整体流量(包括已进组用户)向其他优胜组倾斜。或者调小整个试验的进组流量比例,以确保影响范围不被扩大。在这种场景下,就需要用户命中状态根据设定的流量比例及时变化。符合这种分流策略的试验,我们定义为“非粘性试验”。
在非粘性层中的试验,用户命中策略会随试验流量比例调整而动态变化。
描述:长度不超过256字符。
4.3 分配流量
通过各试验层之间的流量分配,且试验间的流量隔绝,确保试验的效果可追溯到某一单一变量上。在通过流量分配进入试验后,进行筛选条件的过滤,进一步将符合条件的用户划分到不同试验组中实施试验,从而将不符合条件的用户合理丢弃。
4.4 编辑
用户可对试验层名称、试验描述进行更新。
4.5 删除
用户可删除试验层用于控制试验组,注意删除后不可恢复。
最后编辑:曹诗语 更新时间:2024-10-31 14:08