分流

当运营人员无法判断哪个触达内容更好的情况下，可以使用 GMP 分流的功能。当触达任务开启分流实验时，系统将按任务设置的比例，把所有待触达的用户分成多个组，每个组按系统预设的内容进行触达。

赛马

赛马和分流能力类似，区别是在于分流是按操作人设置的比例进行触达，而赛马是选择一部分小流量进行触达，再基于最优的实验组进行剩余流量的触达。
赛马阶段：设置一定的实验流量比例如 10%，在实验流量里面设置多个文案进行赛马，也就是多个赛马文案会均分这 10% 的实验流量在指定的实验时间进行触达。
全量剩余流量：实验结束后，系统或人工判断赛马的优胜组，然后可对剩余 90% 流量按优胜组触达。

实验配置说明

开启入口：在「触达配置」可「开启分流实验」，发送策略选择「分流实验」。
随机命中：在定时重复场景下会进行多次子任务的触达，可基于这个开关设置一个用户多次触达时，是否要保持在固定的实验组。如果选择了「是」：表示假设一个用户在多个子任务分群包里，每一轮发送用户会随机命中任意一个文案。如果选择了「否」则同一个用户多次被触达时收到的内容是一样的。
设置实验组数量：系统将默认设置第一个组为对照组，点击「新增实验」则可新增实验组，至少需要设置 2 个组（对照组、实验组），至多设置 10 个组（1 个对照组，9 个实验组）。
实验组不触达：可以设置实验组不触达，设置后命中该实验组的用户都不会被触达。
实验组触达内容：点击每一个实验组名称，可以设置每个实验组的触达内容。
分流比例：在「分流比例」模块里进行设置，各个实验组分流比例之和需要设置为 100%。

实验运行逻辑

到达触发的时间后，系统将获取到本次要触达的分群，本次触达的分群将按任务创建时设置的比例进行分流并进行触达。

实验关注指标

关注指标
可以在「关注指标」里进行设置，设置后数据分析里将会按实验组、对照组分别进行展示。

Tester 实验指标
若购买了 A/B test 产品 tester，则系统支持设置一个「核心指标」，可通过核心指标来评判哪个实验组效果更优。
默认指标：每个 GMP 触达任务的实验，系统将自动把任务的指标作为实验的指标。
核心指标：这个指标是用来评判多个实验组之间，哪组更优的参考依据。

系统将自动预置一个指标，可以直接选择。
也可以前往 A/B 实验平台 - 指标管理 进行指标配置。注意这里的实验核心指标是一个「率」指标，所以创建指标时也需要创建这样的指标。创建后再回到 GMP 刷新页面即可查看对应的指标。

常见问题

实验分配的比例会严格按照任务设置的配比吗？
不会，会有一定的 gap 差异。
实验的逻辑为：可以简单理解为实验的所有流量分成1000个桶，50%就是取其中的500个桶 。hash 值取模后的值在哪个桶里，这个用户就落到相应的实验分组里。基于这种实现方案可了解，实验分到每个组的用户随机，和按任务配置的实验占比的用户量，会有一些差异。
Hash 是什么：把任意长度的输入，通过Hash算法变成固定长度的输出。
取模是什么：取模运算是求两个数相除的余数。
如果每个实验组触达的受众越多，那每个组分配的人数将越趋近于任务配置的数量。反之亦然，如果每个组分配的只有几十个人，那么可能每个组分配的进入人数会有比较大的差异。

实验配置说明

手动决策的赛马实验，需要设置：需要测试的实验组、赛马期的流量。

实验运行逻辑

赛马期
当达到「触达时间」后，将按任务配置的「赛马期间流量设置」，选取对应比例的用户进行触达。举例：
定时型-单次：针对即将触达的分群包，选取 30% 的用户进行发送。
定时型-重复：针对每个赛马期的每个子任务，选取 30% 的用户进行发送。
触发型-完成 A、触发型-完成 A 未完成 B：对于满足事件条件的用户，选取 30% 的用户进行发送。

触达后可以在「数据分析」页面上，观测哪个组的数据效果最好。

赛马优选全量组
选取想要全量的组，选取后不同类型的任务将会有如下的处理：
定时型-单次：剩余 70% 的用户，立即使用该组进行触达。
定时型-重复：针对后续运行的每个子任务，都将采用该组进行触达。
触发型-完成 A、触发型-完成 A 未完成 B：对于后续满足事件条件的用户，都将采用该组进行触达。

实验关注指标

关注指标
可以在「关注指标」里进行设置，设置后数据分析里将会按实验组、对照组分别进行展示。

Tester 实验指标
若购买了 A/B test 产品 tester，则系统支持设置一个「核心指标」，可通过核心指标来评判哪个实验组效果更优。
默认指标：每个 GMP 触达任务的实验，系统将自动把任务的指标作为实验的指标。
核心指标：这个指标是用来评判多个实验组之间，哪组更优的参考依据。

系统将自动预置一个指标，可以直接选择。
也可以前往 A/B 实验平台 - 指标管理 进行指标配置。注意这里的实验核心指标是一个「率」指标，所以创建指标时也需要创建这样的指标。创建后再回到 GMP 刷新页面即可查看对应的指标。

实验配置说明

实验开始时间：
指标的时效性：

• 如果赛马的指标数据是「实时回执」的：那么系统可以实时计算，「赛马实验开始时间」建议至少早于「剩余流量定时发送时间」 1 个小时。
• 如果赛马的指标数据是「异步回执」的：那么系统无法进行实时计算，「赛马实验开始时间」需要预留数据回执的时间，比如触达后数据回执需要 2 天，那么「赛马实验开始时间」相比「剩余流量定时发送时间」就需要提前 2 天及以上。

不同任务的情况：

• 定时重复性任务：实验开始时间是「触发条件」里填写的「任务开始时间」。在任务开始后，剩余流量全量前，这个阶段执行的子任务，都是会进行赛马实验。
• 触发型任务：赛马时间默认是事件 A 的开始时间，不需要额外设置，这个任务一开始到在全量推送前的时间，都是按赛马的模式来推送。

优选文案推送时间：
不同任务的情况：

• 定时单次型任务：优选文案推送时间= 剩余流量定时发送的时间 = 触发条件设置的定时发送时间，触发条件里已配置触达时间，所以实验设置这里置灰了，无需额外设置。
• 定时重复型任务：优选文案推送时间可以自定义设置。在优选文案推送时间后，任务结束前，这个阶段执行的子任务，都是按照赛马实验选出的最优的组进行推送

触发型任务：在优选文案推送时间后，任务结束前，这个阶段执行的用户触达，都是按照赛马实验选出的最优的组进行推送。

文案优选指标：赛马后，系统将根据一个判定的指标，来选择剩余流量要发送到哪个组，这个指标就是文案优选指标。
赛马期投放总比例：这个指的是赛马阶段要投放多少流量比例进行实验。

• 赛马实验时，各组流量分配规则：所有实验组均分该配置比例。

建议设置的比例：

• 建议每个实验组用户流量至少在 5 万以上，以保证结果准确性。
• 在实际计算的时候可以这样来计算：（受众人数 x 分流比例）/分组数 > 5万。
• 假设受众是 300,000，分组数是 3 组，假设我们要确保每组有 5 万的用户，那么反推出来的结果就是分流比例是 50%。
• 晚于实验时间后完成审批，则发送默认文案，可选取某一条文案作为默认文案。

实验运行逻辑

定时单次

定时重复

触发型

实验关注指标

关注指标
可以在「关注指标」里进行设置，设置后数据分析里将会按实验组、对照组分别进行展示。

Tester 实验指标
若购买了 A/B test 产品 tester，则系统支持设置一个「核心指标」，可通过核心指标来评判哪个实验组效果更优。
默认指标：每个 GMP 触达任务的实验，系统将自动把任务的指标作为实验的指标。
核心指标：这个指标是用来评判多个实验组之间，哪组更优的参考依据。

系统将自动预置一个指标，可以直接选择。
也可以前往 A/B 实验平台 - 指标管理 进行指标配置。注意这里的实验核心指标是一个「率」指标，所以创建指标时也需要创建这样的指标。创建后再回到 GMP 刷新页面即可查看对应的指标。

常见问题

如果赛马结果里点击率指标都是 0，系统会如何处理？
如果赛马实验结果都是 0，系统将自动实验设置的默认文案进行剩余流量的推送。