当您创建完成客群实验，调试开启客群实验后，后续可在实验报告页面中查看到分客群维度的实验指标数据，本文为您介绍客群实验报告的主要实验报告相关数据解读。

其中：

• 优胜概率的数据计算介绍请参见下文的：优胜客群&优胜实验版本&获胜概率。
• 方差分析表的数据计算请参见下文的：方差分析表。

• 针对每个实验版本，使用蒙特卡洛法，得出每个客群的获胜概率。
• 针对每个客群，使用蒙特卡洛法，得出每个实验版本的获胜概率。
• 蒙特卡洛法计算方法介绍
  在许多情况下，我们需要计算某个事件的获胜概率。例如，在赌场中，我们需要计算某个游戏的获胜概率，以便决定是否参与该游戏。在投资中，我们需要计算某个投资策略的获胜概率，以便决定是否采用该策略。
  蒙特卡罗法（Monte Carlo method）是一种常用的计算获胜概率的方法。它通过模拟大量随机事件的结果，来估计某个事件的获胜概率。
  在多客群实验场景下，通过如下方式获得每个实验版本的获胜概率。
  1. 建模。使用正态分布来近似，计算比较目标（实验版本，人群）指标的均值，方差。
  2. 模拟计算。以有 3 个实验分组，2个人群为例，对比人群1下 3 个实验分组的获胜概率。
     • step1：3个实验分组，分别计算每个分组的均值、方差；
     • step2：从上述（均值，方差）正态分布中，分别抽样 1 个随机数，比较哪个最大，如分组1最大，则分组1计数加1；
     • step3：循环step2 次数 100000 次，得到分组1 最大的次数（如60000 个），分组2 最大的次数（比如 30000个），分组3最大的次数（比如10000个）;
  3. 计算获胜概率。分组1获胜概率0.6， 分组2获胜概率0.3， 分组3获胜概率0.1
     请注意，蒙特卡罗法的精度取决于模拟的次数。通常，模拟的次数越多，精度越高。但是，随着模拟次数的增加，计算时间也会增加。因此，在实际应用中，我们需要根据问题的要求和计算资源的限制，选择适当的模拟次数。在我们的例子中，模拟次数为 100000。

方差分析表：

• 主要的分析对象：行因素（人群）、**列因素（策略）**这两个因素。
  • 行因素（人群）：即为不同客群的人群包因素。
  • 列因素（策略）：即为不同的实验版本因素。
• 主要分析目标：分析两个因素的交互效应、主效应、简单主效应。
  • 交互效应：用来探索两个或多个因素之间是否存在相互作用，即一个因素的效果是否依赖于另一个因素的水平。
  • 主效应分析：旨在评估单个因素对实验结果的影响，关注的是因素本身的整体效应，而不考虑因素之间的相互作用。
  • 简单主效应：当交互效应显著时，简单主效应分析用来进一步细化理解，探究在控制其他因素特定水平的情况下，单个因素的效应。简单地说，是在考虑交互效应的背景下，分别考察每个因素在另一因素不同水平上的效应。
• 主要分析数据维度：包含误差平方和SS、自由度df、均方误差MS、F值、P值、F临界值这些数据字段。
  • 其中，根据客群实验的配置，DataTester汇总后的数据为：
    
  • 统计侧将数据汇总成以下标准格式：
    
  • 方差分析表的数据计算如下：
    

更多关于方差分析的介绍可参见什么是方差分析系列文档、两因素方差分析(Two-way ANOVA)二(有交互作用)。