菜单

产品更新日志

1.2.0:2024年7月1日

☞ 新特性

1、试验报告,增加自定义试验备注功能,方便记录试验相关结论、进展、评价。

2、试验指标支持批量移动、批量删除。

3、支持取消试验上线操作,可帮助避免操作失误等特殊情况。

4、试验配置页,可选择是否生成标签,及标签保留时长。

5、登录ID的分流主体支持创建标签,扩展试验结果的分析边界。


☞ 优化

1、技术优化:试验报告查询性能优化


1.1.0:2024年3月29日

☞ 新特性

1、试验指标分组管理,帮助管理者便捷地按业务或部门管理指标,在试验中可按分组选择指标。

2、为方便可视化试验的配置,提供 Chrome 插件,解决 X-Frame-Options 限制加载的问题。


☞ 优化

1、技术优化:着重升级 A/B Testing SaaS 架构

  • 支持私有端 SDH 新架构数据流
  • 支持信创环境部署
  • 服务端拓展缓存

2、功能优化:

  • 试验分组上传图片大小限制提升到1MB
  • 试验名称、试验层名称、试验指标名称输入限制放开


1.0.2:2024年1月10日

☞ 新特性

1、全面支持「多时区」配置高级功能(该功能为高级功能,请联系您的客户成功经理申请开通)

  • 支持全局性项目时区配置
  • 试验报告、空白域分析支持时区时间筛选
  • 试验受众支持选择时区筛选
  • 展示试验操作时间、创建时间、运行时间等的时区信息

2、新增「留存率」指标,作为检验指标,可进行统计显著性检验


☞ 优化

1、可视化试验编辑器,持续优化:

  • 可插入 html 元素
  • 搜索定位元素路径
  • 支持元素隐藏
  • 支持元素级别重置

2、发布计划新增是否覆盖空白域选项

3、指标优化

  • 「留存分析」类业务指标的合计值计算口径优化
  • 「留存分析」类业务指标新增精准口径类型
  • 「漏斗指标」类检验指标新增关联属性筛选

4、试验受众筛选优化

  • 登录主体可进行用户维度的受众筛选
  • 属性筛选、用户分群、用户标签,可进行组合筛选

5、业务报告图表 UI 优化

6、系统性能提升和报告查询速度优化


1.0.1:2023年9月6日

☞ 新特性

1.新增空白域&分析空白域在试验层外设置一个完全空白的组,使这部分用户完全不参与任何试验,目的是该部分用户与参与了试验用户做对比,衡量试验的整体效果。

2.试验层分组管理,帮助管理者便捷地按业务或部门分配试验层、空白域。


1.0.0:2023年8月16日

☞ 新特性

1.新增父子试验轻松实现流量继承,能够对产品流程中不同节点的策略进行叠加对比,快速找到最优的组合方案。

2.本地分流整体方案:新版服务端SDK,更适用于高时效性、高并发的试验场景,减轻QPS压力、减少服务器成本。 高级功能(该功能为高级功能,请联系您的客户成功经理申请开通)


☞ 优化

1.可视化试验编辑器,整体优化:

  • 支持JavaScript/CSS全局代码编辑
  • 更丰富的元素属性配置面板
  • 更全面的操作记录
  • 便捷的设备型号切换

2.站内帮助体系:一站式解决配置试验时的疑惑,不需跳转帮助中心。

3.快速查看功能:在试验列表区域内,轻松锁定常用试验。

4.漏斗指标支持拖拽

0.9.1:2023年5月5日

☞ 新特性

1.新增非粘性试验层:在调整流量时根据场景需要,可选择非粘性试验层,将按照设定的比例重新选取流量桶。

2.支持出海场景:时区偏移计算,确保最终事件上报和实际报告统计时区保持一致。


☞ 优化

1.页面UI优化:优化信息结构,提高使用便捷性。

  • 试验列表

  • 试验报告页

  • 试验层优化

2.其他技术优化:

  • 流量诊断工具优化
  • 浏览器兼容检测
  • 优化指标窗口期计算逻辑


0.9.0:2023年2月6日


☞ 新特性

1. 新增「试验流量」报告

  • 试验上线后实时检测进组人数情况。
  • 查询分流ID进组信息,可及时发现流量分配问题。

2.新增「审批试验」功能 高级功能(该功能为高级功能,请联系您的客户成功经理申请开通)

  • 保证了业务的安全性,严格管理和组织试验。

3.批量添加调试设备及分组管理设备,帮助管理者便捷有序地管理调试设备。

4.试验配置相关

  • 运行周期及到期提醒,简单快捷地管理试验。
  • 试验上线可选择未来时间,自动上线。


☞ 优化

1.权限体系全面升级,试验之间权限隔离,以保障试验数据、线上环境及业务的安全性。 

2.发布报告支持漏斗指标。

3.指标新增事件分析精准口径类型。

4.系统性能提升和其他使用体验优化。



0.8.0:2022年10月14日

☞ 新特性

1. 新增「时间片轮转试验

  • 有效解决多端用户场景中对某一端用户随机分流造成的组间干扰问题 
  • 在商品定价策略/优惠券下发等场景中,能够保证用户在同时空下的策略一致性 

2. 新增「多人群试验

  • 突破传统A/B单一变量束缚,为运营厂运营场景量身打造,通过对细分人群下发不同策略来找对到最佳增长方案 

3. 新增「漏斗指标

  • 严格按照漏斗指标顺序进行科学统计,各步骤转化引入统计显著性检验
  • 助力业务高效定位异常步骤,通过有针对性的流程调优和即时的数据反馈,实现业务增长 

4. 支持从其他项目中快速导入试验配置信息,有效提升试验效率


☞ 优化

1. 设备主体、自定义主体试验支持留存指标的观测

2. 优化受众筛选 UI 组件

3. 系统性能提升和其他使用体验优化

0.7.1:2022年8月4日

☞ 新特性

1. 试验报告相关

  • 支持对报告进行用户筛选,分析试验策略在不同用户群体下的表现。

  • 统计检验分析新增P值、统计功效和剩余样本量指标,科学决策。

2. 流量诊断工具仅SAAS版本

  • 新增流量诊断工具,直接查询用户分流命中情况和进组信息,自助、高效地排查问题。

3. 新版本上线通知仅SAAS版本

  • 针对SaaS化版本(V0.7.1及以上),新版本升级前后在应用内进行通知,帮助您提前Get新功能。

4. 定向试验(通过分群/属性筛选受众)支持根据用户属性变更条件判断能否命中试验

  • 适用于针对用户特性变化而展示不同策略的试验,比如用户随着地域(比如从北京到上海)或会员等级(由VIP降级到普通用户)变化,展示差异化的试验策略。

5. 同层试验中编程试验支持使用相同试验参数,适用于针对不同受众人群的多个试验可复用相同参数,避免重复开发参数,提升试验效率。
6. 发布报告中新增检验类指标。


☞ 优化

1. 试验配置流程优化,试验创建流程更顺畅。

2. 调试设备逻辑优化,暂停状态调试设备仍生效 。

3. 可视化试验编辑保存后自动截图逻辑优化。

4. 报告查询性能优化。


0.7.0:2022年6月13日

☞ 新特性

  • 新增指标管理模块
    • 清晰准确定义试验指标,提升指标使用便捷度 
    • 实现全局式指标管理,助力团队信息沟通有效统一
  • 试验报告升级
    • 提供更丰富的报告内容,提升报告整体的可读性及易用性
  • 运行中试验修改参数值高级功能(该功能为高级功能,请联系您的客户成功经理申请开通)
    • 支持运行中暂停的试验修改参数值,帮助客户避免隐藏的开发错误,影响线上用户体验

☞ 优化

  • 明确用户进组事件,指标统计口径更加清晰透明
  • 样本量计算器逻辑优化,支持切换指标;同时根据检验指标类型,自动适配计算模板

版本更新内容可观看以下视频进一步了解:

https://ow-file.sensorsdata.cn/document-center-admin/b1acb36a71caa83ba549320a9b72b0df3c584fae11d7471984cbd38d64bb153f.mov

0.6.1:2022年2月22日

☞ 新特性

  • 支持自定义分流主体高级功能(该功能为高级功能,请联系您的客户成功经理申请开通)
    • 支持使用非神策 ID 进行试验分流和统计报告
  • 随机流量受众筛选不再支持“设备 ID”
    • 因为合规要求,埋点数据默认不再上报$device_id 预置属性

☞ 优化

  • 优化示例代码提示信息
  • 优化试验受众筛选步骤(选择试验层 → 进组比例 → 选择受众用户)

0.5.2:2022年1月13日

☞ 新特性

  • 试验层支持删除
  • 定向人群试验支持通过用户标签筛选
  • 随机流量的用户筛选条件支持相对时间函数
    • 试验URL匹配模式新增正则匹配
    • 在正则表达式模式下,试验组URL支持标准URL和字符串模板,目标URL配置更加灵活
  • 随机流量的用户筛选条件支持相对时间函数

☞ 优化

  • 优化了一波用户体验相关功能

0.5.1:2021年12月16日

☞ 新特性

  • 试验报告升级
    • 新增试验报告结果建议
    • 试验指标趋势图增加时间筛选
    • 趋势图增加指标变化值/变化率
    • 支持快速查看试验配置信息
  • 样本量计算器
    • 新增样本量预估工具
    • 支持绝对值类及比率类两种类型的指标计算
    • 支持每组所需最小样本量及试验总体所需最小样本量的计算
  • 多链接试验支持正则表达式
    • 试验URL匹配模式新增正则匹配
    • 在正则表达式模式下,试验组URL支持标准URL和字符串模板,目标URL配置更加灵活

☞ 优化

  • 示例代码展示逻辑优化
  • 优化了部分报告查询SQL,打开报告更快了

0.5.0:2021年11月3日

☞ 新特性

  • 可视化试验
    • 功能介绍:支持通过可视化编辑的方式修改Web页面元素,无需代码编程即可进行文本、图片的替换和样式修改,快速生成不同版本的试验方案。
    • 支持修改的元素:
      • 文本:包括文本内容、字号、颜色、样式(粗斜体、对齐方式)、超链接地址和打开方式等
      • 图片:包括图片替换、图片宽高、边框样式等
  • 分流模型整体升级
    • 试验层
      • 试验流量精准分配,试验层流量使用情况可感知。
      • 新增查看试验层详情弹窗,支持快速查看和调整试验层内试验流量分配情况。
    • 发布计划
      • 新增发布方式(试验用户在命中发布策略前,将继续执行试验阶段命中的分组策略),灰度发布更加灵活。
      • 回滚后重新发布,支持重新设置发布规则。
  • 支持按照设备主体分流高级功能(该功能为高级功能,请联系您的客户成功经理申请开通)
    • 支持按照匿名 ID(anonymous_id )进行分流和统计报告,可根据试验类型选择不用分流主体。
  • 选取受众用户
    • 受众筛选支持自定义属性高级功能(该功能为高级功能,请联系您的客户成功经理申请开通)
      • 在请求分流结果时,支持通过传入自定义属性用于受众用户筛选,受众筛选更加灵活。
    • 从用户分群筛选:目标受众支持随分群动态更新
  • 试验支持删除(草稿、调试中、上线失败和已结束的试验支持删除)
  • 试验报告支持下载Excel数据

☞ 优化

  • 试验创建流程优化
    • 试验配置步骤调整为:基本信息 → 配置关注指标 → 设置试验分组 → 选取受众用户
    • 选取受众用户步骤调整为:选择试验层 → 选取受众用户 → 进组比例
    • 增加核心指标配置选项,指标配置更加清晰
  •  试验报告体验升级
    • 报告展示逻辑优化:当用户进入试验,即可查看试验报告
    • 置信区间展示优化:重绘了置信区间图形,数据呈现更加直观
    • 查询方式修改为异步查询,报告增加缓存逻辑,提高报告查询体验
  • 试验操作记录优化
    • 增加试验流量比例调整记录,试验变更从此一目了然
  • 试验上线前,增加二次确认校验,再也不怕误操作啦~
上一个
假设检验与置信区间
下一个
常见问题
最近修改: 2024-12-27