You need to enable JavaScript to run this app.
导航
SaaS发布日志(2025年)
最近更新时间:2025.02.27 19:10:30首次发布时间:2025.01.23 16:14:42

本文为您提供关于「A/B 测试」(又名DataTester)使用功能的各项发版更新记录。

2025年02月27日

功能模块

更新描述

实验工具箱

新增支持数据查重工具,如果实验指标数据可能存在重复上报的情况,您可使用数据查重工具进行查找定位,找到疑似重复的数据,进而对重复数据进行处理,避免产生额外费用。
Image
详情请参见数据查重工具

通用

  • DataTester的资源包计费逻辑优化。当前购买资源包后,在有效期内超出资源包总量的数量才会额外计费,详情请参见计费概述
  • 客户端实验和FeatureFlag,在配置过滤参数时,文本类型的参数支持按照版本序排序,例如,2.1.0和1.9.8这些版本号可以按照版本号进行排序展示。

2025年02月13日

功能模块

更新描述

实验模版

新增实验模版功能,实验模板可以非常快速设置一些实验创建时必填的表单项,或者强制固化表单项里的值。这会方便整个集团建设实验时对表单的控制,提升对表单项的理解清晰度,后续创建实验时可直接引用创建好的实验模板,提高实验创建的效率。

  • 创建实验模板
    Image
  • 引用实验模板
    Image

更多详情介绍请参见实验模版:引用模板创建实验

PreAA实验数据

SaaS-云原生环境新增PreAA实验指标数据查看能力。PreAA是指两个实验分组用户在实验开始之前的指标对比情况。用户进入实验前14天的指标表现是怎么样的?如果用户在进入实验前的指标波动就比较大,那进入实验后的数据参考意义也会变小。PreAA可以直接帮您观察用户进入实验前14天的数据表现情况。
Image
您可以在实验报告的数据指标页面中,单击切换为PreAA数据,查看用户进入实验前14天的数据表现情况。

注意

当前仅SaaS-云原生环境上线了PreAA功能,且当前仅支持事件指标进行PreAA数据查看。

差异分析

差异分析功能升级,新增群体指标的分析结果数据,便于在使用差异分析时能便捷地查看群里获胜概率和详细的指标数据。
Image
更多差异分析的详情介绍请参见高级分析:差异分析与群体对比

智能动态调优MAB

智能动态调优MAB功能体验提升:

  • 增加进入调优条件的说明:
    Image
  • 报告页增加进入调优前的状态说明及启动调优后遇到流量不足等情况的状态提醒,增加调优前核心指标的指标数据
    Image
    Image
  • 增加智能调优流量与评估流量的指标趋势图,支持按照调优轮次区间筛选数据
    Image
  • 下线核心指标的指标分布区间预估

2025年01月23日

功能模块

更新描述

流量计算器

实验流量计算器新增修正多重比较开关。对于实验版本多于2个的实验场景,打开修正多重比较开关后,后续在流量预估时会自动为您修正由于多重比较带来的统计指标犯错率上升的问题。
Image

说明

以假设检验为理论依据的A/B实验,适用于AB两组进行对比的场景,能够帮助大家从A策略和B策略之中选择一个更好的:在95%的置信水平下,假设新策略没用,我们做一次对比,犯第一类错误(即我的策略没用,但实验结论显示我的策略有用)的概率是5%。但是,如果实验是AABB实验,或者ABCD实验,或者ABCDEFG实验等实验版本多于2个的场景,那么我们将面临多重比较问题——我们犯错的概率将大大增加,不再是5%。此时打开多重比较修正的按钮即可自动为您修正多重比较,更多流量计算器的介绍请参见流量计算器

2025年01月09日

功能模块

更新描述

大模型应用-Web个性化

Web个性化实验结合大模型能力,为您提供AI智能文案建议能力,对于文本修改没有思路、文案最佳版本抉择困难、Web文案千人千文的场景,您可使用AI智能文案能力,高效智能生成文案,提高实验效率。
Image

说明

当前AI智能文案能力为灰度发布,如果您希望使用此功能,可联系火山引擎技术支持人员开启试用。

更多关于智能文案生成的介绍请参见Web个性化:AI智能文案生成