A/B实验的核心统计学理论是（双样本）假设检验，是用来判断样本与样本、样本与总体的差异是由 抽样误差 引起还是 本质差别 造成的一种统计推断方法。
假设检验，顾名思义，是一种对自己做出的假设进行数据验证的过程。不严谨地说，假设检验是一门 做出拒绝 的理论，检验结果有两种：拒绝原假设(reject H0)，无法拒绝原假设(fail to reject H0)。实验者往往将主观不希望看到的结果（新策略没有效果）置于 原假设 （从英文命名就可以看出来感情色彩 - 它叫null hypothesis），而将原假设的互斥事件，即对事实本身有利的结果（新策略有提升）置于 备则假设 （alternative hypothesis），如此构成的假设检验目的在于用现有的数据通过一系列理论演绎 拒绝原假设 ，达到证明备择假设是正确的，即某项改进有效的目的，所以这一套方法也被称作 null hypothesis significance testing (NHST) 。
由于我们永远只能抽取流量做 小样本 实验，所以每个假设检验都面临着 随机抽样误差 ，因此在做出推论的过程中，一切都围绕 概率 展开。这意味着没有任何一个基于假设检验的演绎过程可以对结果100%确定。但所幸，统计理论可以告诉我们在每一步中犯错的机会。因此，事先知晓我们 可能犯什么错 ，以及 有多大机会犯错 就成了设计和解读假设检验的关键所在。
实验者在假设检验的过程中可能会做出 两类错误判断 - 不意外地 - 它们被命名为 第一类错误 （弃真）和 第二类错误 （取伪）。
第一类错误(Type I Error)：H0为真，拒绝H0。“本身没提升，但误判为有提升”
第二类错误(Type II Error)：H1为真，接受H0。“本身有提升，但没有察觉提升”
对比上图，第一类错误指的是原假设正确但是我们做出了拒绝原假设的结论，这个错误在现实中常常表现为“我作出了统计显著的结论但是我的改动实际上没用”；相应地，第二类错误指的是原假设错误但是我们没能拒绝原假设，这个错误在现实中常常表现为“我的改动有效，但实验没能检测出来”。
在AB实验的场景下，如果对某一个新feature是否有效进行假设检验，H0为新feature没有效果，第一类错误指的是“新feature实际无效但检测出存在显著性效果”，第二类错误则指的是“新feature实际有效但未能检测出效果”。如果犯了第一类错误，会导致新feature的错误上线，可能会带来实际利益损失，如果犯了第二类错误，实际有效的feature将不会上线，带来的是潜在利益的损失。两相比较，应该更严格地控制第一类错误发生的概率。
定性知晓我们可能犯什么错以后，我们仍然需要定量地分析有多大机会犯错。在频率统计学中 ，显著性水平（α） 以及 （1 - 检验效力 power）（beta） 分别描述了实验者犯第一类错误和第二类错误的概率。这两个统计指标结合在一起比较完整地刻画一个假设检验的总体基本性能，也是进行一个假设检验所需统计指标的最小集。应该说，缺少任何一个，我们都没有足够的信息作出科学的推论，甚至可能错误影响产品的走向。
适用范围
可以对 单个总体参数(H0:μ=c) 或者 两个总体参数(H0: μ1= μ2) 进行检验，假设的内容可以是双侧检验 如参数是否等于某个值(H0:μ=c)，也可以为单侧检验如 参数是否大于或小于某个值(H0:μ><c)。在AB实验的背景下，我们通常进行的检验是 两总体双侧检验。
检验步骤
- 提出假设：H0: μ1= μ2v.s. H1: μ1!= μ2
- 构造统计量
- 计算统计量、检验阈值、置信区间及p值
- 得出结论：若p<0.05或统计量绝对值>阈值或置信区间包含0，则拒绝原假设；若p>0.05或统计量绝对值<=阈值或置信区间不包含0，则无法拒绝原假设。
Note：有些其他的计算公式会假定两组的总体方差相等，在方差的计算方式上有区别，这类公式不推荐，因为该假设在AB实验应用中并不常见。
p-value
P值就是当原假设为真时，所得到的样本观察结果，或更极端结果出现的概率。如果P值很小，说明这种情况发生的概率很小，但如果出现了，根据小概率原理，我们就有理由拒绝原假设。P值越小，说明实验发现的差异是因为抽样误差导致的概率越小，极大程度上还是由于本质上存在差异造成，我们拒绝原假设的理由越充分。
注： 两样本均值差的置信区间包含0 等价于 P值大于0.05 ,此时接受原假设。
思想上 与区间估计的原理中提到的“对称”有相通之处。
两样本均值差的置信区间包含0
等价于 均值差与0的距离小于1.96倍标准差
等价于 统计量的绝对值小于1.96
等价于 P值大于0.05