You need to enable JavaScript to run this app.
导航
Web个性化
最近更新时间:2024.07.25 16:59:47首次发布时间:2024.06.06 14:09:29

个性化是指根据用户的行为、兴趣、地理位置等信息,为用户提供个性化的内容和体验,以提高用户满意度和转化率。DataTester支持创建个性化实验,本文为您介绍个性化实验的应用场景、优势和创建Web个性化实验的操作步骤。

应用场景

传统A/B实验有测试周期长、成本高、无法实时优化、难以满足个性化需求的限制,DataTester在私有化4.9.0版本开始新增支持个性化实验,在多个典型应用场景下,可为进一步满足灵活高效低成本地开展A/B实验,对比介绍如下。

应用场景

传统AB实验痛点

个性化实验应用价值

个性化实验优势

电商网站的商品推荐

传统AB实验只能对整个用户群体进行测试,无法满足个性化需求,不能根据用户的不同特征进行测试

根据用户的不同特征进行测试。

AB个性化测试可以根据用户的历史购买记录、浏览记录、搜索记录等信息,对不同用户推荐不同的商品,提高用户购买率和满意度。

营销活动的定向投放

传统AB实验需要投入大量的人力、物力和时间成本,对于小型企业或创业公司来说,测试成本可能会超出预算。

降低AB实验成本。

AB个性化测试可以根据用户的地理位置、年龄、性别、兴趣爱好等信息,对不同用户进行定向投放,提高广告点击率和转化率。

社交媒体的内容推荐

传统AB测试测试周期长,无法快速响应市场变化。

快速响应市场变化。

AB个性化测试可以根据用户的社交关系、兴趣爱好、历史行为等信息,对不同用户推荐不同的内容,提高用户参与度和留存率。

移动应用的功能优化

传统AB测试无法实时优化,不能根据测试结果及时调整策略。

实时优化,根据测试结果及时调整策略。

AB个性化测试可以根据用户的设备类型、操作系统版本、网络环境等信息,对不同用户进行功能优化,提高用户体验和留存率。

网站的页面布局优化

传统AB测试无法满足个性化需求,不能根据用户的不同特征进行测试。

根据用户的不同特征进行测试。

AB个性化测试可以根据用户的设备分辨率、浏览器类型、操作系统等信息,对不同用户进行页面布局优化,提高用户体验和转化率。

使用限制
  • 私有化版本:4.9.0及以上
  • 实验类型:仅支持客户端实验

创建个性化实验

准备工作

与普通A/B实验类似,创建个性化实验前,请先完成以下准备工作:

  • 根据实验需求完成数据接入操作。
  • 根据实验规划,明确实验指标,建议提前创建好实验指标。

step1:进入个性化实验页面

登录并进入A/B测试控制台后,在页面左侧导航栏选择个性化>Web个性化,进入Web个性化列表后单击右上角的创建个性化按钮,进入创建页面。

step2:配置个性化实验参数

  1. 配置个性化实验的基础信息。
    图片

    配置项

    配置说明

    个性化名称

    建议与个性化内容相关的名称,比如:版本号+内容。便于让其他相关人员能够快速了解到此个性化实验是做什么的、是在哪个迭代版本的。

    目标URL

    • 支持的匹配方式:URL简单匹配、URL精准匹配。
    • URL地址:个性化web页面的URL。包括H5页面,Web页面,APP里H5页面,小程序里H5页面。
      注意,此处配置的URL地址必须保障可通过浏览器直接访问,可以支持需要登录才能访问的页面,或者需要有权限才能访问的页面。

    预留流量

    预留流量是指应该看到您的原始页面的用户百分比,至少 5%。

  2. 添加指标。
    图片

    • 支持添加核心指标和普通指标。
      • 核心指标:只能选择一个核心指标,最关心指标的提升比率,最终实验报告也是主要围绕该指标设计的。
      • 普通指标:可以配置多个,作为核心指标之外的指标数据参考,组成实验报告指标数据。
    • 如果指标选择的下拉框中没有实验所需的指标,可单击右上方的新建指标,跳转到创建指标页面进行创建;对已选的指标也可单击指标后的链接按钮,跳转指标组详情页面查看详情。
  3. 单击确定,进入实验构建器页面,可继续后续创建子实验的操作步骤。

step3:创建子实验

支持为Web个性化实验创建多个子实验,操作步骤类似,以下以创建一个子实验为例,为您介绍详细的操作步骤。

  1. 单击个性化卡片右边 + 号,添加子实验。
    图片

  2. 配置子实验的基础信息参数。

    配置项

    配置说明

    名称&描述

    建议与实验内容相关的名称,比如:版本号+内容。

    时长

    默认是7天,最高设置365天。

  3. 配置目标用户。
    只有满足此规则的用户才能看到体验。 如果不提供条件,此体验将展示给所有访问您网站的用户。
    图片

    • 添加且条件、或条件:可以通过筛选用户属性的方式来控制参与个性化实验的用户。
    • 添加分群:可以通过筛选用户分群的方式来控制参与个性化实验的用户。
  4. 配置个性化实验的实验版本信息。
    图片

    1. 根据界面检测结果提示,如果未按照可视化编辑器插件,可根据界面提示安装对应的插件。

      • 针对Web页面的个性化实验,可直接通过可视化编辑器,来编辑待进行A/B实验的页面,并将修改后的页面直接保存为实验版本的页面,与原页面进行A/B对比开展实验。
      • 首次安装插件后,需刷新操作页面后再继续后续操作。
    2. 单击进入可视化编辑器,进入可视化编辑器页面中,您可通过可视化编辑器对Web页面进行编辑修改,完成后单击保存,即可将修改的页面保存为实验版本页面。

    3. 配置对照版本、实验版本的版本参数。
      其中对照版本为Web个性化实验的原页面URL的页面;实验版本为可视化编辑器修改并保存后的页面。

      配置项

      配置说明

      版本名称&描述

      设置用于快速标识实验版本和对照版本的版本名称和描述,比如:版本号+内容。

      白名单

      添加后续进行实验调试的测试白名单用户,支持:

      • 手动输入白名单用户的ssid,支持输入多个,通过逗号隔开。
      • 也可选择已创建的白名单组,支持多选。

      实验版本操作记录

      您可以在实验版本中查看到当前实验版本的操作记录,上述步骤中,在可视化编辑器中的操作会记录并展示在这里。

      流量分配

      配置对照组、实验组的用户流量分配,支持均匀分配,或关闭均匀分配开关后手动调整流量分配比例。

  5. 单击保存并进入调试,则创建的子实验进入调试中状态。
    已添加的白名单用户可查看对应版本的页面情况,确认子实验的配置是否符合预期。如果符合预期,您可根据规划正式开启个性化实验。

开启/结束个性化实验

已调试符合预期的个性化实验,您可按需开始实验,开始后也可以根据实验情况停止对应的个性化实验。

  • 您可以在Web个性化实验列表页面,开始/停止对应的个性化实验。
    图片
  • 您也可以进入个性化实验的实验构建器,在这里您可以开启/停止整个个性实验,或仅开启/停止其中某个子实验。
    图片

查看个性化实验报告

实验开始后,您可以进入个性化实验的报告页面,查看个性化实验的指标结果等信息,结合个性化实验报告进行业务调整。

报告概览

个性化更关注的是全局最优解,也就是整体个性化整体最优解。个性化概览在核心指标中收益是最重要。在个性化概览右侧卡片是实验在核心指标中的收益。

切换到实验

日期筛选

支持天级别,范围:个性化开始日期 到 T-1。举个例子:个性化在20240613开启了个性化,如果我们在20240621查询,可选范围是:20240613 - 20240620。

进组用户趋势

根据日期筛选来看个性化中预留流量和个性化流量的进组用户数。如果切换到实验的时候,展示的对照版本和实验版本的进组用户数。通过这个图可以查看进组用户趋势。

切换到实验

指标值变化

根据日期筛选和选择指标来查看个性化中指标的表现。默认选中核心指标,可以切换到普通指标。在日期范围内选中指标的每天变化,可以得到指标每天变化趋势。

切换到实验

P值变化

据日期筛选和选择指标来查看个性化中指标的表现。p值就是用来表示实验结果与对照组之间差异的大小,也就是判断实验结果是否具有统计学意义,p值越小,差异越大,实验结果与对照组之间的差异越显著。

切换到实验

常见问题

Q1:个性化和推荐的区别是什么?

个性化和推荐从本质上讲都是将最匹配的内容分发给最合适的人,但是在大的优化场景下,推荐仅仅是个性化的一个子集
推荐主要是关注于内容(产品,文章等),而个性化则从宏观的角度关注于不同场景和需求下整个用户的体验,大到内容,小到一个词对不同人群产生的影响,推荐在个性化的背景下,仅仅会作为一个组件进行使用,或一个场景进行选择。所以简单的将推荐理解为个性化是不准确的,不全面的

Q2:个性化与父子实验区别

  • 个性化对用户进行分层,父子实验对实验进行分层
    • 个性化实验通常需要对用户进行分层,将用户分为不同的群体,然后针对不同的群体进行不同的实验设计。
    • 父子实验通常需要对实验进行分层,将实验分为不同的组,然后针对不同的组进行不同的实验设计。
  • 个性化命中允许调整实验优先级。
  • 针对人群动态调整运行中子实验。
  • 个性化报告,展示个性化整体收益,全局收益。

Q3:个性化中有关实验层的处理逻辑是怎样的?

个性化对应的是单独的一个层,添加实验的每一个实验都是在不同层上面,每一个层是正交的。

Q4:多个子实验时,子实验命中优先级怎么修改设置?

如果某一个用户同时命中实验1和实验2的受众条件,可以通过设置实验的排列顺序,优先命中排列在前面子实验,最终只会命中一个子实验的一个版本。

Q5:个性化中,用户分流逻辑是怎样的?

图片