本文为您提供关于「A/B 测试」(又名DataTester)使用功能的各项发版更新记录。
功能模块 | 更新描述 |
---|---|
系统设置 | 新增支持指标查询时间偏移参数,如果您在实验开启后发现有某些指标事件的数据明显偏少,可能是由于指标事件的触发早于实验曝光事件的触发,此种场景下您可以通过设置指标查询时间偏移来进一步提高查询指标的正确性。例如,将参数设置为3秒,则后续指标计算时会包含实验曝光事件前3秒内上报的指标事件数据。 |
数据概览 | 优化了产品用量的数据更新时间,当前数据看板的合同用量统计时间改为上午10:00,便于您及时查看用量情况。 |
通用-性能优化 | 针对页面加载时间长的问题做了诸多性能优化,页面平均加载时长从4.9s降低到1.455s,支持并行访问用户数944个。 |
功能模块 | 更新描述 |
---|---|
实验创编 | 新增大模型实验功能,适用于基于大模型做二次开发的应用,此类应用如果需要针对大模型的模型性能等方面开展A/B实验,可使用DataTester的大模型实验功能。
说明
|
功能模块 | 更新描述 |
---|---|
全局设置-数据概览 | 开通购买DataTester的MAU资源包后,新增支持在数据概览页面查看MAU的用量相关数据。 |
功能模块 | 更新描述 |
---|---|
实验工具箱 | 新增支持数据查重工具,如果实验指标数据可能存在重复上报的情况,您可使用数据查重工具进行查找定位,找到疑似重复的数据,进而对重复数据进行处理,避免产生额外费用。 |
通用 |
|
功能模块 | 更新描述 |
---|---|
实验模版 | 新增实验模版功能,实验模板可以非常快速设置一些实验创建时必填的表单项,或者强制固化表单项里的值。这会方便整个集团建设实验时对表单的控制,提升对表单项的理解清晰度,后续创建实验时可直接引用创建好的实验模板,提高实验创建的效率。
更多详情介绍请参见实验模版:引用模板创建实验。 |
PreAA实验数据 | SaaS-云原生环境新增PreAA实验指标数据查看能力。PreAA是指两个实验分组用户在实验开始之前的指标对比情况。用户进入实验前14天的指标表现是怎么样的?如果用户在进入实验前的指标波动就比较大,那进入实验后的数据参考意义也会变小。PreAA可以直接帮您观察用户进入实验前14天的数据表现情况。 注意 当前仅SaaS-云原生环境上线了PreAA功能,且当前仅支持事件指标进行PreAA数据查看。 |
差异分析 | 差异分析功能升级,新增群体指标的分析结果数据,便于在使用差异分析时能便捷地查看群里获胜概率和详细的指标数据。 |
智能动态调优MAB | 智能动态调优MAB功能体验提升:
|
功能模块 | 更新描述 |
---|---|
流量计算器 | 实验流量计算器新增修正多重比较开关。对于实验版本多于2个的实验场景,打开修正多重比较开关后,后续在流量预估时会自动为您修正由于多重比较带来的统计指标犯错率上升的问题。 说明 以假设检验为理论依据的A/B实验,适用于AB两组进行对比的场景,能够帮助大家从A策略和B策略之中选择一个更好的:在95%的置信水平下,假设新策略没用,我们做一次对比,犯第一类错误(即我的策略没用,但实验结论显示我的策略有用)的概率是5%。但是,如果实验是AABB实验,或者ABCD实验,或者ABCDEFG实验等实验版本多于2个的场景,那么我们将面临多重比较问题——我们犯错的概率将大大增加,不再是5%。此时打开多重比较修正的按钮即可自动为您修正多重比较,更多流量计算器的介绍请参见预估实验流量:流量计算器。 |
功能模块 | 更新描述 |
---|---|
大模型应用-Web个性化 | Web个性化实验结合大模型能力,为您提供AI智能文案建议能力,对于文本修改没有思路、文案最佳版本抉择困难、Web文案千人千文的场景,您可使用AI智能文案能力,高效智能生成文案,提高实验效率。 说明 当前AI智能文案能力为灰度发布,如果您希望使用此功能,可联系火山引擎技术支持人员开启试用。 更多关于智能文案生成的介绍请参见Web个性化:AI智能文案生成。 |