推送通知类实验可以对推送通知的标题、内容、点击动作等进行测试。当您要向现有用户发布通知消息或者开始新的营销通知，但不确定效果如何时，您可以使用火山引擎A/B测试来创建推送通知类实验，通过在您所选的用户群中测试各种通知实验组，来找出最理想的通知文案和消息呈现方式。本文为您介绍DataTester的推送实验应用场景和操作要点。
限制/前提条件 | 说明 |
|---|---|
支持的实验类型 |
注意 在推送过程中需要与客户端交互，因此目标受众可使用客户端的属性。 |
前提条件 |
|
- 计划触达人数：调取API触发发送的去重人数。
- 实际触达人数：接收到推送任务的去重人数。
- 目标完成人数：根据设定的目标，完成的去重人数。
- 计划触达次数：调取API触发发送的总数。
- 实际触达次数：接收到推送任务的总数。
- 目标完成次数：根据设定的目标，完成的次数。
推送实验主要用于解决（1）可选方案选择难，无法决策哪种效果佳；（2）变更影响大，不敢轻易变动，担心带来客户舆情这类场景的痛点。例如：
- 多文案推送实验 ：市场人员针对候选文案，很难通过人为经验判断哪个效果最好，即可通过开启A/B实验方式，先验小流量分析实验报告，选择适用场景的最优文案。
- 智能文案调优实验： 在进行多文案推送实验后，我们可以进一步设置智能文案调优实验，将效果更好的文案直接发送给更大范围的用户。
场景示例：
在购物节到来之际，我们有多种不同文案的push消息可以发送给用户，每种push消息主打不同的痛点，包括低价、舒适、时尚等，文案如下表：
对照组 | 2021年度最爆折扣，抢1号0-2点折上8折，全场低至3折起，入会下单领百元猫超卡，错过等明年！ |
|---|---|
实验版本1 | 双11买什么？舒适百搭牛仔裤，穿搭巨显高级感，即刻挑选新品 |
实验版本2 | idol同款，时尚牛仔搭品，双11新品折上折，助你时髦开挂 |
实验版本3 | 双11折扣燃爆，1号冲刺0-2点折上8折，全场低至3折起，会员实付TOP1送Iphone，还有专属大额券领，快来解锁全年最大折扣！ |
- 在大范围推送之前，我们先将不同的文案编辑成不同的实验版本，配置10%的流量进行实验。
- 一段时间后，我们查看各实验版本的push点击情况、后链路付费率、付费总价等，选择最优的文案策略，给全量用户大范围推送。
在实验列表页点击“+创建实验”，选择用户触达实验-推送实验，进入实验创建流程。
说明
如果您在创建实验入口中找不到用户触达实验，可能是因为功能开关被关闭了，您可联系技术支持人员打开功能开关。
step1 输入基本信息
实验基本信息相关参数主要用于标识实验、明确实验类型等，配置详情如下。
参数 | 配置说明 |
|---|---|
实验名称&实验描述 |
|
实验标签 | 您可以在下拉框中选择已存在的实验标签，也可直接输入新标签。 |
实验负责人 | 默认为实验创建者。 |
实验结束后持续观测时长 | 推送数据的收集有延后性，请根据实际情况输入实验结束后持续观测时长，最长30天 |
step2 设置实验版本
您可以在配置实验版本页面中添加多个实验版本，分别配置实验的对照版本和各实验版本的推送规则，配置操作类似，核心配置参数如下：
- 是否推送：可以选择该实验版本是否对用户进行推送；
- 推送通道及内容设置：此部分内容根据不同的推送通道进行设置
推送通道 ：支持「极光通道」、「个推通道」和 Webhook 等通道。Webhook通道可对接自有或其他触达通道，可在推送通道管理中配置，详见推送通道管理。
推送平台 ：支持「Android」和「iOS」。
后续动作 ：
- 启动应用，指的是用户点击push消息后，直接打开App应用。
- 自定义行为，指的是用户点击push消息后，将填写的参数透传给客户端，客户端可以拿到参数去实现自己的业务逻辑，比如说进入某个新的页面。
推送标题 ：字数≤20个汉字（40个字节）
推送内容 ：字数≤50个汉字（100个字节）
推送通道说明：
（1）极光/个推通道说明平台/推送通道
极光通道
个推通道
Android
启动应用：
（1）角标数字增加。
（2）通知提醒：响铃、震动、呼吸灯、App在前台依然提醒、可设置优先级、可设置跳转链接。
自定义行为：
（1）将kv参数透传给特定应用，具体行为由应用决定。
（2）角标数字增加。
（3）通知提醒：响铃、震动、呼吸灯、App在前台依然提醒。可设置优先级。启动应用：
（1）通知提醒：响铃、震动。通知渠道重要性。通知是否可清除。
自定义行为：
（1）将kv参数透传给特定应用，具体行为由应用决定。iOS
启动应用：
（1）角标数字增加。
（2）通知提醒：iOS可选生产环境、开发环境。
自定义行为：
（1）将kv参数透传给特定应用，具体行为由应用决定。
（2）角标数字增加。
（3）通知提醒：iOS可选生产环境、开发环境。启动应用：
（1）角标数字增加。
自定义行为：
（1）将kv参数透传给特定应用，具体行为由应用决定。
（2）角标数字增加。备注
1.极光通道，Android比iOS多了通知提醒（响铃、震动、呼吸灯、App在前台依然提醒、优先级）的选项。
2.相同平台不同后续动作（启动应用、自定义行为），自定义行为只比启动应用多了kv参数透传。iOS的功能符合预期，即自定义比打开应用多了kv选择
Android自定义透传与打开应用无重叠功能。（2）Webhook 通道使用说明
- 创建实验时，可选择已经配置好的 Webhook通道
- 选择通道后，填写通道对应的字段取值
- 配置好后可以直接输入白名单测试
- 测试用户： 添加白名单测试用户
- 频控规则 ：
- 全局频控：每个用户1天内，最多能接受24条推送消息，且每小时最多1条。您可在火山引擎增长分析设置频控规则。
- 无频控：1个用户在1天内可能会收到多条Push。
- 推送时机
单次立即推送：选择单次立即推送后，开始实验后立即生效。
定时推送：支持定时推送。支持每天/周/月重复例行推送。
事件触发推送：选择事件触发推送后，可设置事件触发规则：触发XX行为之后触发XX行为——>运行推送动作。 推送运营场景中，相对于定时推送等手动推送方式，基于用户行为事件触发推送的方式更加贴合用户场景，从而也更容易带来用户转化（比如，在用户将商品添加购物车后给用户发送优惠券，更容易促成用户下单)。
事件触发类型见下表：事件触发类型
选项
释义
举例
用户触发
单个行为
指触发了某个行为
用户启动/退出应用时，运行推送动作
多个行为
指触发了多个行为，比如做了A并且做了B
用户启动应用，并在使用过程中搜索商品，则运行推送动作
多个行为（有顺序）
指触发了多个行为且是按时间顺序，比如做了A之后并且做了B
用户搜索某商品后，退出应用，运行推送动作
之后
等待一段时间
触发行为等待一定时间后再推送
用户搜索商品后等待5分钟，运行推送动作
未触发特定行为
指触发行为后续未触发其他行为
用户搜索商品后的一天内未有提交订单行为，则运行推送动作
触发特定行为
指触发行为后续触发了其他行为
用户搜索商品后，在一天内有提交订单的行为，则运行推送条件
注：事件和过滤条件有数量限制：事件数量<=3、过滤条件<=5。
- 实验类型设置：
- 常规推送实验
- 智能调优推送实验：即文案赛马，可以动态调整流量给到更优的实验版本，如需使用建议实验进组人数超过10万；
- 实验流量分配设置
实验流量分配设置：即分配每个实验版本之间的流量比例分配。
可操作项如下：- 流量均匀分配-开启：默认为开启状态，开启状态下为强制各实验版本流量均匀分配。
- 流量均匀分配-关闭：关闭后可调配对照版本和实验版本的流量相对占比。 可通过输入数值，来控制每个实验版本命中的用户比例。例如，当关闭均匀分配后，三个实验版本，可配置对照版本占比20%，实验版本1占比为50%，实验版本2占比为30%，整体总和为100%。
step3 设置生效策略
参数 | 配置说明 |
|---|---|
实验流量 | 生效实验的用户占满足用户受众用户比例。系统默认为100%流量，您可以通过建议工具（点击流量计算器）进行流量预估，看设置多少流量合适，详见：流量计算器。 说明 实验流量的预估时，通常需要结合实验的业务指标与MDE（检验灵敏度）来进行估算，通常实验指标为提升/降低xx（某个业务指标值），那MDE建议以小于这个指标值来进行估算，尽量避免MDE取值较大，无法检测出真实的实验结果。 |
受众规则 |
|
step4 添加实验指标
参数 | 配置说明 |
|---|---|
实验默认指标 | 推送实验会默认关注与触达与点击相关指标。 |
实验核心指标配置 |
|
实验关注指标配置 | 对需要关注的指标进行配置。您可以在页面的下拉列表中选择需要关注的指标，也可以在页面单击新建指标或移除指标按钮，快速调整需要关注的指标。 |
实验创建完成后，您可以在A/B测试>实验列表中查看已创建的实验，并查看实验状态。
- 调试中：新创建完成的实验，实验状态为调试中，此阶段您可以邀请已添加为测试用户的用户进行实验测试，确认实验符合预期。
- 进行中：实验调试完毕后，您可以在实验列表页点击“启动”，即可开启实验。实验开始后，实验的状态变为进行中，此时进组用户可实时查看，指标置信度第二日产出。
- 已结束：实验开始后，当实验时长到达创建实验时配置的实验时长后，实验会自动停止；如果没有到达实验时长，您希望立即停止实验，也可在实验列表手动停止实验。停止实验后，实验状态变为已结束。
实验开启后，您也可以在实验列表中，通过实验操作入口点击进入实验报告页面，查看实验报告，详情请参见实验报告概述。