发布时间:2023-11-30
发布版本:V4.7.0
迭代说明:
功能模块 | 更新类型 | 更新说明 | 产品截图 |
---|
实验创编 | 新增 | 实验生效方式新增「实验流量平滑生效」,相较于流量立即生效,平滑生效会在设置的时间内把流量生效到设定的大小,例如实验流量设置成30%,平滑生效时间设置成30min,则会按照每分钟生效1%的进度线性生效。详细可查看文档:实验流量平滑生效
说明:此功能默认关闭,如需开启使用,请联系火山引擎CSM或运维人员 | |
新增 | 编程实验的实验类型新增支持客户端-本地分流实验,更适用于类似应用的开屏实验等场景,详情可查看文档编程实验-客户端本地分流。 | |
优化 | 优化白名单二维码扫码体验,提升扫码成功率 | |
实验报告 | 新增 | 新增自选指标汇总视图 - 新增「自选指标汇总」视图,支持跨指标组标记指标,汇总查看
| |
优化 | 优化报告页指标导航和展示 - 支持指标组导航,方便快速搜索和定位指标
- 更新指标数值和显著性的展示样式
| |
指标管理 | 优化 | 为了在报告页更有序的呈现数据、更合理的解读留存和漏斗指标,指标组管理调整如下: - 留存指标组和漏斗指标组每组仅支持添加一个指标
- 事件指标每组支持添加多个指标(上限100个),对于历史已创建的留存指标和漏斗指标,如每组有多个指标,我们会按上述逻辑做拆分,新指标组会按照“原指标组名称-指标名称”来命名,会维持与原指标组相同权限
调整原因:
留存指标、漏斗指标相较于其他其他类型指标,本身即为一组指标的概念,留存指标默认是30留存,会在报告页默认展示成30个指标一个组;
漏斗指标的转化链路中也包含多个转化率指标,在报告页会按照指标粒度呈现漏斗数据和图表。 | |
新增 | 支持核心指标进行修改:在实际创建实验时,有可能存在核心指标选择偏差的问题,支持核心指标修改后会满足此类场景,不过由于核心指标是用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」,建议合理的进行实验设计,谨慎选择。 | |
可视化编辑器 | 新增 | 新增下载入口,使用入口和清空操作;支持拖拽和退出模式。具体迭代如下: 创编新增:
【新增】chrome扩展下载入口和使用入口
【新增】有操作记录展示清空当前版本的操作
【新增】切换demo URL的二次确认 VE新增:
【新增】可视化面板和顶导支持拖拽**;**
【新增】新增退出可视化模式;
【新增】新增选择元素类型展示,新增模块名
【新增】特殊元素svg,video,html,body等不支持内容编辑, |
|
智能流量调优 | 优化 | 创编优化:
【新增】调优方向与指标,过滤了带常数项的指标,确保用户所选指标可调优
【优化】配置实验版本时,把实验组和对照组的概念全部切换为版本,确保和传统AB的区别,方便拉齐认知
【新增】智能实验流量分配设置,改为默认全部由系统分配,同时流量分配机制改为传统AB(评估流量)+ 智能实验 报告优化:
【优化】收益表征方式,替换为MAB流量与评估流量的对比
【优化】所有二维图横坐标全部替换为时间,不强调轮次的概念
【新增】MAB整体收益增加了明细展示
【优化】MAB明细数据去掉了击败对照组的概念
【新增】实验流量分配模块,增加了累计流量的展示,并在明细中区分了实际和算法预期,面积图改为了折线图 算法优化:
【新增】流量分配机制由固定比例分配优化为相对平缓的自适应分配,各组流量配比大致与各分组获胜概率、差异大小等正相关;
【新增】流量评估口径由轮次口径优化为累计口径,将历史收益考虑在内
【新增】探索机制优化,由固定探索流量优化为按照轮次、进组样本量衰减(模拟退火)
【新增】当前支持场景为「转化率场景」
【新增】轮次轮转机制优化,由固定时间区间轮转优化为时间区间、进组用户数共同约束 |
|
数据集成 | 新增 | 新增可视化数据集成类型-用户属性数据
【新增】较4.6.0版本用户属性数据除了支持通过上传配置文件的方式进行数据集成,新增支持通过可视化配置数据源、数据映射的方式进行数据集成 | |