You need to enable JavaScript to run this app.
导航
SaaS发布日志(2025年)
最近更新时间:2025.03.27 18:49:16首次发布时间:2025.01.23 16:14:42
我的收藏
有用
有用
无用
无用

本文为您提供关于「A/B 测试」(又名DataTester)使用功能的各项发版更新记录。

2025年03月27日

功能模块

更新描述

系统设置

新增支持指标查询时间偏移参数,如果您在实验开启后发现有某些指标事件的数据明显偏少,可能是由于指标事件的触发早于实验曝光事件的触发,此种场景下您可以通过设置指标查询时间偏移来进一步提高查询指标的正确性。例如,将参数设置为3秒,则后续指标计算时会包含实验曝光事件前3秒内上报的指标事件数据。
Image
更多关于系统设置的操作指导请参见系统设置

数据概览

优化了产品用量的数据更新时间,当前数据看板的合同用量统计时间改为上午10:00,便于您及时查看用量情况。

通用-性能优化

针对页面加载时间长的问题做了诸多性能优化,页面平均加载时长从4.9s降低到1.455s,支持并行访问用户数944个。

2025年03月20日

功能模块

更新描述

实验创编

新增大模型实验功能,适用于基于大模型做二次开发的应用,此类应用如果需要针对大模型的模型性能等方面开展A/B实验,可使用DataTester的大模型实验功能。
Image

  • DataTester提供大模型实验创建模板,您可在DataTester页面直接创建并开启实验;同时,您也可以使用DataTester的配置管理功能来托管大模型的功能Feature,详情请参见编程实验-大模型实验
  • 大模型预置事件($llm_usage_log)和便捷的实验集成SDK,您可高效完成实验SDK集成和大模型性能数据的采集上报,详情请参见大模型实验SDK集成

说明

  • 开启大模型实验不会增加模型Token的调用量,且当前大模型实验功能不收取额外费用,所有SaaS用户可免费使用。
  • 当前大模型实验仅支持编程实验-服务端类型的实验。

2025年03月13日

功能模块

更新描述

全局设置-数据概览

开通购买DataTester的MAU资源包后,新增支持在数据概览页面查看MAU的用量相关数据。
Image

2025年02月27日

功能模块

更新描述

实验工具箱

新增支持数据查重工具,如果实验指标数据可能存在重复上报的情况,您可使用数据查重工具进行查找定位,找到疑似重复的数据,进而对重复数据进行处理,避免产生额外费用。
Image
详情请参见数据查重工具

通用

  • DataTester的资源包计费逻辑优化。当前购买资源包后,在有效期内超出资源包总量的数量才会额外计费,详情请参见计费概述
  • 客户端实验和FeatureFlag,在配置过滤参数时,文本类型的参数支持按照版本序排序,例如,2.1.0和1.9.8这些版本号可以按照版本号进行排序展示。

2025年02月13日

功能模块

更新描述

实验模版

新增实验模版功能,实验模板可以非常快速设置一些实验创建时必填的表单项,或者强制固化表单项里的值。这会方便整个集团建设实验时对表单的控制,提升对表单项的理解清晰度,后续创建实验时可直接引用创建好的实验模板,提高实验创建的效率。

  • 创建实验模板
    Image
  • 引用实验模板
    Image

更多详情介绍请参见实验模版:引用模板创建实验

PreAA实验数据

SaaS-云原生环境新增PreAA实验指标数据查看能力。PreAA是指两个实验分组用户在实验开始之前的指标对比情况。用户进入实验前14天的指标表现是怎么样的?如果用户在进入实验前的指标波动就比较大,那进入实验后的数据参考意义也会变小。PreAA可以直接帮您观察用户进入实验前14天的数据表现情况。
Image
您可以在实验报告的数据指标页面中,单击切换为PreAA数据,查看用户进入实验前14天的数据表现情况。

注意

当前仅SaaS-云原生环境上线了PreAA功能,且当前仅支持事件指标进行PreAA数据查看。

差异分析

差异分析功能升级,新增群体指标的分析结果数据,便于在使用差异分析时能便捷地查看群里获胜概率和详细的指标数据。
Image
更多差异分析的详情介绍请参见高级分析:差异分析与群体对比

智能动态调优MAB

智能动态调优MAB功能体验提升:

  • 增加进入调优条件的说明:
    Image
  • 报告页增加进入调优前的状态说明及启动调优后遇到流量不足等情况的状态提醒,增加调优前核心指标的指标数据
    Image
    Image
  • 增加智能调优流量与评估流量的指标趋势图,支持按照调优轮次区间筛选数据
    Image
  • 下线核心指标的指标分布区间预估

2025年01月23日

功能模块

更新描述

流量计算器

实验流量计算器新增修正多重比较开关。对于实验版本多于2个的实验场景,打开修正多重比较开关后,后续在流量预估时会自动为您修正由于多重比较带来的统计指标犯错率上升的问题。
Image

说明

以假设检验为理论依据的A/B实验,适用于AB两组进行对比的场景,能够帮助大家从A策略和B策略之中选择一个更好的:在95%的置信水平下,假设新策略没用,我们做一次对比,犯第一类错误(即我的策略没用,但实验结论显示我的策略有用)的概率是5%。但是,如果实验是AABB实验,或者ABCD实验,或者ABCDEFG实验等实验版本多于2个的场景,那么我们将面临多重比较问题——我们犯错的概率将大大增加,不再是5%。此时打开多重比较修正的按钮即可自动为您修正多重比较,更多流量计算器的介绍请参见预估实验流量:流量计算器

2025年01月09日

功能模块

更新描述

大模型应用-Web个性化

Web个性化实验结合大模型能力,为您提供AI智能文案建议能力,对于文本修改没有思路、文案最佳版本抉择困难、Web文案千人千文的场景,您可使用AI智能文案能力,高效智能生成文案,提高实验效率。
Image

说明

当前AI智能文案能力为灰度发布,如果您希望使用此功能,可联系火山引擎技术支持人员开启试用。

更多关于智能文案生成的介绍请参见Web个性化:AI智能文案生成