融易推是一家广告投放营销公司。依托自建的泛舟广告平台，融易推一方面帮助流量供给侧提升变现效率，另一方面帮助流量需求侧优化流量采买的性价比。

实验背景

融易推在具体业务中，遇到两个挑战：

• 以往融易推依据人工经验对广告进行排序，这种方式不仅效率低下，且响应不及时，客单价已触及天花板，想要突破增长瓶颈，亟需精细化运营；

• 公司经常需要A/B测试进行投放实验，但自建的简易A/B测试平台无法支持并行实验，如果有多个待做实验，只能排队等待，时间成本极高。

实验设计

为了解决依照人工经验手动排序的低效率和不准确，火山引擎的算法团队为融易推设计了有针对性的数据模型训练。
每次用户请求广告时，模型会根据不同广告主的转化目标，实时预估该用户对候选集所有广告的转化率，并给出打分，最后根据分值倒排生成推荐列表。
为了验证智能算法排序具有更优的效果，融易推使用火山引擎的A/B测试平台设计了一组实验：

• 对照组：传统人工手动排序

• 实验组：智能算法排序

实验设置了1个关键指标，2个参考指标：

实验结论

该实验为长期实验，截取其中两周的实验数据显示，智能算法排序实验组比人工排序的对照组，核心指标客单价提升了4.5%，后续扩大实验组量级占比后，仍保持正向。

最终智能算法排序，替代了人工经验排序，大大提升了广告投放的效率。