本文为您介绍新人上手的通用流程和操作引导。
了解各类实验报告类型和对应的实验结果报告的关键指标含义。
假设检验的报告:传统A/B实验 | 基于贝叶斯的MAB实验报告:MAB智能调优实验 |
---|---|
基于经典假设检验框架+字节跳动内部多年应用和优化升级,保障实验科学性的重要模块是统计报告,DataTester提供了 P-Value 和置信区间等统计信息来帮助用户甄别数据的可靠性。同时还提供了一些高级统计功能来修正统计结果,比如多重比较修正、序贯检验等功能,可以进一步提升统计评估的准确度,帮助用户在一些复杂场景下更好地做判断。 | MAB是基于贝叶斯理论设计的一套测试调优方案,从实验目的上来说是想让整个活动最优,而不是找出最优组。所以DataTester提供了单独的MAB实验报告。 |
根据规划在DataTester上开启A/B实验,并查看对应实验的结果报告。