用户体验是决定互联网产品能否长久生存的关键,每一个基于产品功能、使用和外观的微小体验,都将极大地影响用户留存和满意度。
对于企业协作平台飞书而言,用户体验旅程从打开产品页面的一瞬间就已开始,这里有一个十分重要的指标——页面秒开率,秒开率是指页面在一秒之内打开的比率。飞书为了提升用户体验,对其各项功能的秒开率优化下了大功夫,通过应用火山引擎A/B测试(DataTester)进行严格的变量控制,落地精准的实验结果,帮助研发团队佐证并明确了秒开率优化方案的收益。
影响秒开率其实有很多种因素,如代码冗余,插件拖累…… 在其中,有一项重要的影响因素是“类加载”。类加载是指当页面被打开时,背后是调用的多个元素的代码,它们会经历验证、准备、解析、初始化等环节后,才能被使用,这个流程是比较耗费时间的。
以飞书的一项功能“飞书妙记”加载为例,当飞书整体进行冷启动时,如果用户是首次打开飞书妙记界面,就会伴随着接近1600个类的大量加载,这对页面启动速度有着不可忽视的影响。如何减少如此高的类加载数量对秒开率的影响呢?飞书团队希望尝试采用的方案是:接入SnapBoost方案。
SnapBoost方案的思路是让app能够提前对页面使用到的"类"进行加载,通俗来说,也就是在用户打开页面之前,将耗时较长的部分提前进行加载,当用户在打开页面的时候,这些代码省去了编译和解析的时间,可以直接执行,使秒开率得到提升。
那么SnapBoost方案是否能有效降低“飞书妙记”的加载时间呢?飞书团队采用了火山引擎A/B测试(DataTester)进行方案可行性的重要验证。
本次A/B实验三大指标:
类加载数量
Activity切换耗时 :Activity通常指一个单独的屏幕(页面),此指标指在不同页面之间的切换耗时。
可感知耗时 :指用户操作相关动作(点击播放、滑动卡片等)到首帧渲染出来感知到的耗时。
优化前后收益验证:
火山引擎DataTester的实验结果,对SnapBoost方案的提升性能假设给予了强有力的佐证,通过SnapBoost方案等一系列优化,飞书妙记的秒开率可以达成37%的优化提升,目前该方案已经成功地进行了全量上线。
“ DataTester是结合A/B测试方法论最好的一个工具。”飞书的研发成员在采访时讲到,在性能优化的A/B实验上,DataTester能提供更加严格的变量控制和更加智能化的实验形式,业务可以便捷地获得有说服力的实验结果。