广告实验是A/B测试平台的一种实验场景，在广告计划创建中将素材创意、人群定向、预算出价等作为实验变量，通过科学的数据度量，选出最优方案。

• 优化广告投放素材
  • 广告素材对比优化
  • 广告人群对比优化
• 优化落地页：
  • 电商活动宣传页的优化
  • 销售线索页的优化
  • 应用下载推广页面的优化
• 支持优化的类型：视频创意、落地页素材、广告标题、广告内容、投放人群

在实验列表页点击“+新建实验”，选择实验模式-广告实验，如下图：

1. 填写广告计划配置

需要填写广告计划的基本信息，并点击下一步，如下图：

可操作项如下：

• 投放目的： 包含“应用下载、电商店铺”，应用下载类广告可以帮助开发者提高应用的下载、激活、注册、付费、留存等目标；电商店铺类实验可以帮助广告主提升线上店铺的推广效果，获取电商店铺的行动转化。
• 投放范围： 包含“默认、穿山甲”，默认即站内流量，投放“今日头条、抖音”等字节系流量；穿山甲即站外流量，字节与广泛的合作伙伴携手打造的全新移动生态联盟
• 投放目标： 包含“转化量、点击量、展示量”，默认选择转化量
  • 转化量：即将广告投放给转化意愿高的用户
  • 点击量：即将广告投放给点击意愿高的用户
  • 展示量：展示量即让更多的用户看见广告
• 下载方式： 下载方式是用户浏览广告时提供的下载途径，当前下载方式有“选择应用包、落地页”两种，默认选中“选择应用包”；
  • 选择应用包：点击选择应用包后，用户在浏览广告时可以通过下载链接直接下载对应的应用包进行安装；
  • 选择落地页：落地页中会配置相应的下载链接供用户下载应用包，落地页相对直接下载应用包展示形式会更加的多样化，落地页可在素材管理中进行上传
• 选择应用包： 应用包是在应用管理中接入的，并在应用管理列表页配置对应的投放渠道，详情查看：应用管理
• 应用名称、应用包名和下载链接是在选择应用后自动获取的，不需要另外填写
• 选择广告账户： 用于计划创建的广告账户选择，分为两个部分，一个是“用户授权”，即用户自身授权给testerpint台的广告账户；一个是“拥有权限”，即包括用户自身授权在内，被分配了权限的其他账户；广告账户管理请查看广告账户管理

2. 输入基本信息

需要填写实验基本信息，并点击下一步，如下图：

可操作项如下：

• 实验名称 ：建议取与实验内容相关的名称，如有实验版本迭代可以增加版本号后缀，让你的同事能够快速get到实验是做啥的、是哪个迭代版本的。名称全局唯一，最长不超过50个字符，支持中英文字符、数字、下划线、中划线等，如：功能改版实验。
• 实验描述 ：你可以简述当前实验的含义、目的、内容等信息，让业务相关人员清晰get此实验是如何做的，同时也便于后期查看和管理历史实验时一目了然。
• 实验类型 ：素材实验、定向实验、预算实验
• 实验负责人： 默认是创建者，可以添加其他负责人

3. 选择关注指标

关注的指标可以衡量实验成功与否，实验开始后，在实验报告页面可以看到关注指标在实验版本和对照版本的对比。这里特殊说明一下，广告实验的指标和其他实验类型的指标有所区别，广告实验的指标全部都是预置的 。在这一步，需要选择实验关注指标，并点击下一步，如下图：

可操作项如下：

• 选择关注指标 ：必看指标默认已被选择，可下拉选择该实验需要关注的其它指标。支持复制选择的指标，再去其它实验进行粘贴。
• 编辑指标 ：可修改指标名称、是否设为必看指标；
• 移除指标 ：移除指标，则在实验报告看不到该指标的数据。

4. 设置对照计划

需要填写对照计划的详情信息，主要填写内容有用户定向、预算与出价、投放位置、落地页和计划分类六个模块，计划创建流程和直接在广告投放模块中的投放流程一致，唯一区别的地方是为了保证实验变量的唯一性每个模块只能选择多个元件包。创建广告计划的流程详见：创建计划

5. 设置实验计划

点击添加实验版本后，会增加素材预览框，点击编辑修改素材，就可以增加多组不同素材的实验计划，除了素材之外的所有条件都保持一致，点击下一步

6. 账户对应计划

本页面可以设置实验计划的广告组，实验创建完会给一个默认的广告组，也可以切换到其他广告组，但是一个实验下的所有计划一定都是在同一个广告组中；同时设置计划在过审后是手动投放还是自动投放。
暂停投放： 在渠道侧过审后需要在广告投放的计划列表中手动选择投放
开始投放： 在渠道侧过审后广告计划会立即进行投放

7. 开始调试

点击开始调试后，会跳转到实验列表中，等所有计划审核通过并在投放状态中，就可以点击开始实验，实验数据开始进入。

1. 名词解释

• 曝光人数： 广告的展示人数，通过MAPI回传的数据
• 核心指标： 用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」。比如一个关于引导页按钮文案优化的实验，该按钮点击的「转化率」即可作为该实验的决策指标
• 差异绝对值： 当前实验版本相对基准版本（对照版本）的绝对差异
• 相对差异值： 当前实验版本相对基准版本（对照版本）的绝对差异/基准版本值
• 置信区间： 由样本统计量构成的总体参数的估计区间
• P-value： 在原假设为真的前提下随机抽取样本出现极端情况的概率。当p-value<1-置信度水平，认为统计显著
• MDE： Minimum Detectable Effect (MDE)，最小可检测单位，即检验灵敏度，是实验在当前条件下能有效检测的指标diff幅度。

2. 如何看懂实验报告

详情见帮助文档实验报告模块：报告综述