流量层/互斥域

优化流量层、互斥域功能的操作交互。优化后，您可以根据实验需要先创建好实验流量层，并创建互斥域，将互斥的流量层绑定至对应的互斥域中。

• 流量层：流量层是为实现流量复用而引入的概念，每新增一层，就对所有用户重新随机排序一次进行复用，以抵消不同层上的多个实验间的影响。
• 互斥域：互斥域也称互斥组，是一种流量管理方式，通过划分互斥域可以实现不同互斥域之间的流量互斥，且在同一互斥域下的流量层相互正交。当前支持为互斥域添加子互斥域。

更多介绍请参见流量层与互斥域。

大模型测评

SaaS-云原生环境的大模型测评功能，新增支持Hiagent来源的数据集，丰富了大模型测评的丰富度、提高接入效率。

更多大模型测评的数据集相关内容请参见新建数据集。

实验Demo

优化了面向新用户的演示Demo和**操作Demo，**演示Demo和操作Demo均优化了其中的教学引导和Demo示例，丰富细化了入门学习教程，便于您端到端学习体验Demo，了解实验创建、实验效果的基本流程。

界面UI优化

实验创编选择实验指标时，鼠标悬停在指标名称上时可展示指标的口径信息，便于您快速选择实验相关指标。

实验创编

优化升级流量计算器功能。优化境界了流量计算器的配置交互，便于您更深入理解流量计算器的计算逻辑。

更多流量计算器的介绍请参见流量计算器。

数据接入-服务端接入

服务端的Node.js SDK更新新版本，新增支持UserAbInfoHandler初始化参数。更多Node.js SDK的详细介绍请参见Node.js SDK。

指标组-权限管理

对指标组的权限管理做了功能升级，后续可对指标组进行数据权限管控，实验报告也可结合指标组权限进行针对性的展示。
即，如果实验用户没有对应指标组的查看权限，后续查看实验报告时，界面会提示无相关权限，需联系管理员添加权限。

实验报告

新增实验组排序功能。在实验报告的核心指标概览部分，新增一个排序功能，后续您可根据需要选择按指标值排序，默认为您按分组顺序排序。

大模型评测

大模型评测功能新增支持数据集功能和自定义指标功能，您可以创建数据集并通过API上传数据；您也可以在预置指标基础之上灵活的创建自定义指标；后续创建测评任务时即可直接选用已创建的数据集、指标，配置映射关系。
详情请参见大模型评测概述。

全局设置-系统设置

新增任务管理功能，本次上线任务管理的全局任务页面，您可以在全局任务页面修改全局的实验指标计算任务的触发时间，也可修改指标计算任务的开关：

• 可将无需分析的指标计算任务关闭，节约计算资源，避免因计算资源不足导致的任务排队、更有价值的指标结果产出时间过晚。
• 可设置相关任务的触发时间，以避免由于部分实验指标依赖的数据产出时间晚于默认指标计算任务时间，而导致的指标结果数据不准确的情况。

更多任务管理功能的介绍请参见任务管理。

数据管理-元数据管理

新增支持事件分类能力。您可以对一般事件、虚拟事件、圈选事件进行事件分类管理操作，可根据业务需求创建不同的事件分类，并将对应事件归类到对应事件类型中，后续在新建指标、创建用户分群等操作时，即可根据事件分类快速查看选择事件，提高操作效率。

• 事件分类包含公共分类和私人分类两种，公共分类的标签所有人可见，管理员可进行编辑维护。
• 如果您也同时购买开通了DataFinder，则DataTester侧和DataFinder侧的事件分类数据底层可打通。

实验报告

实验报告的数据指标页面新增跳转至DataFinder的链接，便于您对实验指标进一步下钻分析。

• 仅同时开通购买了DataTester、DataFinder的用户可见跳转至DataFinder的按钮。
• 如果界面中进入Finder的按钮置灰，说明当前指标算子不可用。

实验命中诊断工具

对实验命中诊断工具的操作交互进行了优化，详情参见实验命中诊断工具。

Demo-App

DataTester上线AI智能机器人——AB小助手，结合AI大模型能力，为您提供智能问答、智能指标离线计算分析的AI能力。
当前AB小助手已在SaaS-云原生的Demo-App项目中上线，您可前往试用体验，试用后如果您希望在自己的集团中也使用AB小助手，可联系火山引擎技术支持人员开通使用白名单。

• 智能问答：您可在下方问题输入框中输入您想咨询的问题，AB小助手会综合多方知识库，回答您的问题。
• 智能指标离线分析：您可点击AB小助手下方的离线指标计算按钮，根据界面提示上传离线文档，进行离线指标数据的计算分析。

  说明

  智能指标离线计算分析的主要应用场景包括：

  • 实验分析时，需要使用DataTester报告之外的数据进行进一步过程拆解和用户下钻分析。
  • 实验数据回收时，可能存在延迟收集、离线采集途径等原因，难以或无需固化，需要手动完成指标计算和置信检验。
  • 通过其他抽样方式得到的样本数据，而非DataTester开启的实验，想要使用DataTester的实验分析能力来离线分析组间差异和显著性。

场景能力

新增支持大模型评测功能。面向大模型采购客户，DataTester提供高效易用的大模型在线评测、分析、监控和快速优化产品能力，DataTester为您预置了大模型评测指标，支持从回答关联度、回答真实度、上下文关联度等指标维度，对大模型的应用效果进行评测，并为您生成评测报告。您可以基于评测报告进一步调试优化模型，以达到更优的应用效果。
详情请参见新建数据集。

实验创编

新增支持个性化实验，与普通A/B实验相比，个性化实验可针对不同人群分别找到实验的优胜版本，针对不同的人群分发最符合其偏好的更优版本，从而提高用户的转化率。如下图所示。

更多个性化实验的相关介绍请参见Web个性化。

场景能力-智能运营

推送通道的Webhook通道，新增支持自定义接口接入的方式进行Webhook接入，此方式不仅可以提高Webhook接入效率降低接入成本，也可支持直接对接客户已有的Webhook API接口。

详情请参见推送通道管理。

服务端实验&客户端实验

对于在调试中的实验，支持在实验列表中查看实验详情时，查看实验各个版本的VID信息。

受众管理-用户分群

上传用户分群文件来创建用户分群时，新增支持多口径的用户ID，历史版本仅支持使用user_unique_id类型的用户标识ID，本次新增支持ssid和device_id。

OpenAPI

对实验操作的接口进行优化：

• 新增支持暂停实验、恢复实验接口，后续您可通过调用对应OpenAPI即可对指定实验进行暂停或恢复的操作。
• 获取实验详情接口的返回参数新增“用户账号”返回参数。

详情请参见开放接口V3。

指标管理

在指标组列表页中查看指标组详情时，可直接查看到指标id，便于使用OpenAPI时获取需要使用的指标id。

系统管理-数据概览

在系统管理的数据概览页面中，新增支持汇总并展示当前集团下的DataTester用量情况的数据，便于管理员查看并了解当前整体的使用情况。

系统设置

在系统设置处，新增支持配置上报指标数据截止时间，即后续实验结束后，实验指标数据计算任务可以持续执行天数，支持设置0~7天，默认为0天。

配置完成后，后续实验结束后的N天，依旧会自动计算实验指标结果数据，以满足部分指标结果比较滞后的实验场景。
例如，进行对转化量有影响的实验时，在实验结束的一两天后依旧会有转化数据，因此需在实验结束后的一两天继续计算实验指标——转化数据的结果，来评估分析实验结果，此场景下您可以在系统设置中设置上报截止时间为2天，并在实验结束后2天查看实验报告和指标数据。

指标管理

对指标管理-埋点实时验证功能进行适配优化，对于没有购买DataFinder、仅购买了DataTester的用户而言，后续可更顺畅地使用埋点实时验证功能。

试用Demo

对创建操作DemoApp的操作进行性能优化，优化后创建Demo的耗时下降40%。

OpenAPI

新增部分接口和字段参数，便于您通过OpenAPI获取更丰富的实验、指标和报告信息。

• 新增两个实验报告信息获取接口：获取实验报告-分组结论概览、获取实验报告-核心指标概览，通过这两个新增的接口您可以查询并获取时间粒度为天的实验报告信息。
• 获取指标详情接口的返回参数中新增两个字段：is_required、metric_group，用于获取指标是否为必看指标、指标所属的指标组信息。

详细介绍请参见开放接口V3。

可视化编辑器

• 新增支持选择元素（input，svg，video）；支持元素的背景图片编辑。
• 可视化实验交互和视觉部分优化。
• 新增支持响应式图片编辑。

OpenAPI

• 创建实验、获取实验详情、修改实验OpenAPI，增加实验标签参数、实验创建人两个参数。
  后续您可以在使用OpenAPI创建实验时通过这两个参数进一步标识实验，后续查询实验时也可通过这两个参数进行过滤查询。
• 新增用户信息查询接口，用于查询用户owner列表，查询结果可用于创建实验接口的请求参数使用。
• 实验名称的长度限制从50字符扩到200字符。
• 支持通过OpenAPI创建MAB实验。

详细介绍请参见开放接口V3。

实验报告

优化各种实验场景下的实验报告结论，主要展示对您更有价值的报告总结描述；并且在本次实验结果不明确时，进一步为您提供实验数据和实验优化方案，辅助您进行业务决策。

例如，当实验结果不显著时，为您提供各个实验版本与实验对照组的指标数值对比，并为您提供可能可以得到显著实验结论的优化措施。

数据指标

• 实验报告中实验数据指标展示能力优化。
  
  • 数据展示支持切换计算方式（差异相对值还是差异绝对值）和统计方式（置信区间还是P-Value），切换视图即可根据选择展示指标对应的数据。
  • 下载指标数据时，新增支持下载P-Value、MDE等数值，并对下载后的数据的可读性进行了优化。以指标组视图下载数据为例，下载后的数据示例如下。
    
• 按……去重的指标作为分子或分母时，支持计算置信度，如果您的实验包含相关指标，可在实验报告中查看对应指标的置信度相关数据。
  

指标组

• 创建事件指标、留存指标时，新增支持设置指标事件的灵活属性。您可以根据需要选择是否打开灵活属性开关，打开后您可为指标的各个事件添加灵活属性。
  
  添加后可在实验创编选择指标时进行选择，指定所选指标按照所选属性及属性值进行口径的定义、计算及展示实验结果。
  
• 指标创建等场景下，事件、属性、属性值支持大小写模糊匹配。
• 创建指标时，可选属性的上限提高至5000。

MAB实验

MAB实验的转化率流量调优算法更新迭代，本次算法迭代在上个版本的基础上，主要增加了：

• 均值类指标的 MAB 流量分配算法
• 算法设计了探索机制，使得算法可以满足 100个以上方案参与 MAB 流量分配的诉求
• 增加了 2 类流量调节敏感度控制方法，满足客户场景下，期望参与控制流量分配过程的诉求，例如，在某个版本明显胜出之后，客户期望可以控制算法对分组大幅度流量倾斜
  • 温度参数，通过调节温度参数控制各个分组之间流量分配的激进程度
  • 分组之间辨识度控制函数 5 类，通过选择不同控制函数满足不同风险偏好客户/场景诉求（不同辨识函数对方案之间差异大小有不同敏感度）
• 增加了获胜概率解析计算方法（上一版本逻辑是 MC 方法，耗时过大）
  • 两类方法各有应用场景
  • 解析方法可能会产生偏差，MC 方法不会产生偏差但耗时过大

实验列表

实验列表页面做了加载的性能优化，通过降低前端umi.js的体积大小，从而降低打开实验列表页面时的耗时，本次性能优化后，前端总体积优化下降下降约25%（130MB => 96.4MB）。

体验demo

全量升级改造Demo项目，区分体验Demo、操作Demo，便于在初始使用时体验DataTester的实验能力和上手体验操作。

数据指标

按……去重的指标作为分子或分母时，支持计算置信度，如果您的实验包含相关指标，可在实验报告中查看对应指标的置信度相关数据。

可视化编辑器

新增支持响应式图片编辑。详情可参见可视化编辑器 3.x介绍。

广告实验

广告实验支持渠道拓展：新增支持对微信小程序创建广告实验。
通过界面化的配置即可系统的规划微信小程序的广告投放策略并进行AB测试，以获得最佳投放效果；新增微信小程序端后，火山引擎AB测试在广告投放渠道就已基本覆盖完整，包括安卓/ISO应用、电商店铺、微信小程序等多个渠道。

MAB智能调优实验

MAB智能调优实验功能升级，优化实验创编流程、实验报告页面展示；支持在实验过程中人工调整实验流量等功能升级。