推送通知类实验可以对推送通知的标题、内容、点击动作等进行测试。当您要向现有用户发布通知消息或者开始新的营销通知，但不确定效果如何时，您可以使用火山引擎A/B测试来创建推送通知类实验，通过在您所选的用户群中测试各种通知实验组，来找出最理想的通知文案和消息呈现方式。
主要用于解决 ：
- 可选方案选择难，无法决策哪种效果佳。
- 变更影响大，不敢轻易变动，担心带来客户舆情。
实验类型 ：推送实验只支持iOS、Android应用，属于「服务端实验」。在推送过程中需要与客户端交互，因此目标受众可使用客户端的属性。
前置条件 ：
- 配置好对应的推送通道
- 接入客户端SDK
- 计划触达人数：调取API触发发送的去重人数。
- 实际触达人数：接收到推送任务的去重人数。
- 目标完成人数：根据设定的目标，完成的去重人数。
- 计划触达次数：调取API触发发送的总数。
- 实际触达次数：接收到推送任务的总数。
- 目标完成次数：根据设定的目标，完成的次数。
- 多文案推送实验 ：市场人员针对候选文案，很难通过人为经验判断哪个效果最好，即可通过开启A/B实验方式，先验小流量分析实验报告，选择适用场景的最优文案。
- 智能文案调优实验： 在进行多文案推送实验后，我们可以进一步设置智能文案调优实验，将效果更好的文案直接发送给更大范围的用户。
场景举例
- 在购物节到来之际，我们有多种不同文案的push消息可以发送给用户，每种push消息主打不同的痛点，包括低价、舒适、时尚等，文案如下表：
对照组 | 2021年度最爆折扣，抢1号0-2点折上8折，全场低至3折起，入会下单领百元猫超卡，错过等明年！ |
|---|---|
实验版本1 | 双11买什么？舒适百搭牛仔裤，穿搭巨显高级感，即刻挑选新品 |
实验版本2 | idol同款，时尚牛仔搭品，双11新品折上折，助你时髦开挂 |
实验版本3 | 双11折扣燃爆，1号冲刺0-2点折上8折，全场低至3折起，会员实付TOP1送Iphone，还有专属大额券领，快来解锁全年最大折扣！ |
- 在大范围推送之前，我们先将不同的文案编辑成不同的实验版本，配置10%的流量进行实验
- 一段时间后，我们查看各实验版本的push点击情况、后链路付费率、付费总价等，选择最优的文案策略，给全量用户大范围推送
5.1 创建实验
在实验列表页点击“+创建实验”，选择实验模式-用户触达实验-推送实验，进入实验创建流程：
5.1.1 输入基本信息
产品示例图 | 操作项说明 |
|---|---|
|
|
5.1.2 设置实验版本
可操作项如下：
- 是否推送：可以选择该实验版本是否对用户进行推送；
- 推送通道及内容设置：此部分内容根据不同的推送通道进行设置
- 推送通道 ：支持「极光通道」、「个推通道」和 Webhook 通道。Webhook通道可对接自有或其他触达通道,可在推送通道管理中配置,详见「增长分析」推送通道管理，地址：推送通道管理
- 推送平台 ：支持「Android」和「iOS」。
- 后续动作 ：
- 启动应用，指的是用户点击push消息后，直接打开App应用。
- 自定义行为，指的是用户点击push消息后，将填写的参数透传给客户端，客户端可以拿到参数去实现自己的业务逻辑，比如说进入某个新的页面。
- 推送标题 ：字数≤20个汉字（40个字节）
- 推送内容 ：字数≤50个汉字（100个字节）
- 推送通道说明：
（1）极光/个推通道说明
平台/推送通道 | 极光通道 | 个推通道 |
|---|---|---|
Android | 启动应用： | 启动应用： |
iOS | 启动应用： | 启动应用： |
备注 | 1.极光通道，Android比iOS多了通知提醒（响铃、震动、呼吸灯、App在前台依然提醒、优先级）的选项。 | iOS的功能符合预期，即自定义比打开应用多了kv选择 |
（2）Webhook 通道使用说明
- 创建实验时,可选择已经配置好的 Webhook通道
- 选择通道后,填写通道对应的字段取值
- 配置好后可以直接输入白名单测试
- 测试用户： 添加白名单测试用户
- 频控规则 ：
- 全局频控：每个用户1天内，最多能接受24条推送消息，且每小时最多1条。您可在火山引擎增长分析设置频控规则。
- 无频控：1个用户在1天内可能会收到多条Push。
- 推送时机
- 单次立即推送：选择单次立即推送后，开始实验后立即生效。
- 定时推送：支持定时推送。支持每天/周/月重复例行推送。
- 事件触发推送：选择事件触发推送后，可设置事件触发规则：触发XX行为之后触发XX行为——>运行推送动作。 推送运营场景中，相对于定时推送等手动推送方式，基于用户行为事件触发推送的方式更加贴合用户场景，从而也更容易带来用户转化（比如，在用户将商品添加购物车后给用户发送优惠券，更容易促成用户下单)。
- 事件触发类型见下表：
事件触发类型 | 选项 | 释义 | 举例 |
|---|---|---|---|
用户触发 | 单个行为 | 指触发了某个行为 | 用户启动/退出应用时，运行推送动作 |
多个行为 | 指触发了多个行为，比如做了A并且做了B | 用户启动应用，并在使用过程中搜索商品，则运行推送动作 | |
多个行为（有顺序） | 指触发了多个行为且是按时间顺序，比如做了A之后并且做了B | 用户搜索某商品后，退出应用，运行推送动作 | |
之后 | 等待一段时间 | 触发行为等待一定时间后再推送 | 用户搜索商品后等待5分钟，运行推送动作 |
未触发特定行为 | 指触发行为后续未触发其他行为 | 用户搜索商品后的一天内未有提交订单行为，则运行推送动作 | |
触发特定行为 | 指触发行为后续触发了其他行为 | 用户搜索商品后，在一天内有提交订单的行为，则运行推送条件 |
注：事件和过滤条件有数量限制：事件数量<=3、过滤条件<=5。
- 实验类型设置：
- 常规推送实验
- 智能调优推送实验：即文案赛马，可以动态调整流量给到更优的实验版本，如需使用建议实验进组人数超过10万；
- 实验流量分配设置
实验流量分配设置：即分配每个实验版本之间的流量比例分配。
可操作项如下：
- 流量均匀分配-开启：默认为开启状态，开启状态下为强制各实验版本流量均匀分配。
- 流量均匀分配-关闭：关闭后可调配对照版本和实验版本的流量相对占比。 可通过输入数值，来控制每个实验版本命中的用户比例。例如，当关闭均匀分配后，三个实验版本，可配置对照版本占比20%，实验版本1占比为50%，实验版本2占比为30%，整体总和为100%。
5.1.3 设置生效策略
产品示例图 | 操作项说明 |
|---|---|
|
|
5.1.4 添加实验指标
产品示例图 | 操作项说明 |
|---|---|
|
|
- 创建完推送实验，可在实验列表页点击“启动”，启动后实验状态会由“调试中”更新为“待审核”，审批请联系集团管理员或者应用管理员在“实验管理-实验审批”进行审批。
- 在审批页面支持单个/批量实验审批通过、驳回。支持查看代办的审批以及已完成的审批。
