You need to enable JavaScript to run this app.
导航
新人上手指导概述
最近更新时间:2024.11.08 16:00:14首次发布时间:2023.06.09 15:49:02

本文为您介绍新人上手的通用流程和操作引导。

产品使用通用流程
  1. 管理员:
    • 购买部署DataTester产品后,集团管理员需完成前期的成员添加、角色授权等操作。
    • 项目管理员在实验员和开发者操作前,需根据规划完成项目创建、应用接入等操作。
      管理员的上手操作指导作可参见快速入门:管理员
  2. 实验员:
    • 实验员开始规划开启A/B实验前,需先了解A/B测试的基本原理、应用场景、设计思路等,详情请参见什么是A/B 实验
      Image
      例如,根据通用的海盗增长模型,上方的图刻画了一个企业在它用户的整个生命周期里,到底进行了哪些日常工作。从左到右,描述了各个阶段的一些具体场景,从获取用户到推荐传播。上半部分主要表示了各个部门的各个角色所从事的具体业务活动。下半部分对应应用场景,可以做哪些 A/B 实验。
    • 实验员需根据业务需求规划A/B实验,做好开启实验前的准备工作,后续根据规划开启A/B实验,查看实验报告结果,分析业务发展结论。详情请参见开实验准备工作
  3. 开发者:
    1. 了解DataTester的数据接入能力和实验分流原理。
      Image
    2. 根据实验规划进行实验需要采集的各端数据接入和配置下发操作,详情可参见快速入门:研发
  4. 实验员:
    1. 了解各类实验报告类型和对应的实验结果报告的关键指标含义。

      假设检验的报告:传统A/B实验

      基于贝叶斯的MAB实验报告:MAB智能调优实验

      基于经典假设检验框架+字节跳动内部多年应用和优化升级,保障实验科学性的重要模块是统计报告,DataTester提供了 P-Value 和置信区间等统计信息来帮助用户甄别数据的可靠性。同时还提供了一些高级统计功能来修正统计结果,比如多重比较修正、序贯检验等功能,可以进一步提升统计评估的准确度,帮助用户在一些复杂场景下更好地做判断。
      Image
      详细点击查看:A/B实验报告综述

      MAB是基于贝叶斯理论设计的一套测试调优方案,从实验目的上来说是想让整个活动最优,而不是找出最优组。所以DataTester提供了单独的MAB实验报告。
      Image
      详细点击查看:MAB报告综述

    2. 根据规划在DataTester上开启A/B实验,并查看对应实验的结果报告。