WeTest明星工具-移动端性能测试PerfDog初探

时间  2019-11-24 标签 wetest 明星 工具 移动 性能 测试 perfdog 初探

在十一月初，腾讯就官宣了一则消息，腾讯WeTest明星工具-PerfDog面向全球发布。官宣介绍以下：https://wetest.qq.com/lab/view/475.html。我在看到该新闻时，有种大开眼界的感受，移动端的性能测试原来能够这么简单。今天闲暇之余，来了一波初探，简单体验了一番。html

软件性能数据采集

咱们先来了解下经过该工具能采集到哪些性能数据：android

PerfDog支持移动平台全部应用程序（游戏、APP应用、浏览器、小程序等）及Android模拟器，桌面应用程序PerfDog支持在Windows和Mac机器使用运行。在iOS和Android平台获取性能参数以下：ios

iOS平台 （与苹果官方Xcode工具参数对齐一致）小程序

  • Screenshot
  • FPS(1秒内游戏画面或者应用界面真实平均刷新次数，俗称帧率/FPS)
       1) Avg(FPS):平均帧率(一段时间内平均FPS)
       2) Var(FPS):帧率方差(一段时间内FPS方差)
       3) Drop(FPS):降帧次数(平均每小时相邻两个FPS点降低大于8帧的次数)
  • Jank(1s内卡顿次数。iOS9.1如下系统暂时不支持。相似Android的Jank卡顿和iOS的FramePacing平滑度统计原理。帧率FPS高并不能反映流畅或不卡顿。好比：FPS为50帧，前200ms渲染一帧，后800ms渲染49帧，虽然帧率50，但依然以为很是卡顿。同时帧率FPS低，并不表明卡顿，好比无卡顿时均匀FPS为15帧。因此，平均帧率FPS与卡顿无任何直接关系)
        PerfDog计算方法：同时知足两条件，则认为是一次卡顿Jank.
        一、 当前帧耗时>前三帧平均耗时2倍。
        二、 当前帧耗时>两帧电影帧耗时(1000ms/24*2=84ms)。
        同时知足两条件，则认为是一次严重卡顿BigJank.
        一、 当前帧耗时>前三帧平均耗时2倍。
        二、 当前帧耗时>三帧电影帧耗时(1000ms/24*3=125ms)。
    计算思路：考虑视觉惯性，假设之前三帧的平均帧耗时为参考，做为vsync时间间隔，连续两次vsync没有新渲染画面刷新，则认为是一次潜在卡顿，也就是说下一帧耗时大于前三帧平均帧耗时2倍，则认为一次潜在卡顿。同时单帧耗时知足大于两倍电影帧耗时1000ms/24*2 (因为人眼低于24帧才能辨别画面不连续性)，则认为是一次真正卡顿。同时若单帧耗时大于3倍电影帧耗时，则认为是一次严重卡顿。
    注解：为何是两次vsync？GPU通常是3重缓冲buffer，当前帧已占用一个buffer，即剩余2缓冲buffer，人眼通常可容忍2帧延迟。 为何是两帧电影帧耗时？低于24帧画面，人眼就能感知到画面不连续性，电影通常都是24帧。即电影帧耗时1000ms/24=41.67ms，两帧电影帧耗时也就是41.67ms*2，三帧电影帧耗时是41.67ms*3。
       1) BigJank:1s内顿严重卡次数
       2) Jank(/10min):平均每10分钟卡顿次数。
       3) BigJank(/10min):平均每10分钟严重卡顿次数
  • FTime(上下帧画面显示时间间隔，即认为帧耗时，iOS9.1如下系统暂时不支持。)
       1) Avg(FTime):平均帧耗时 
       2) Delta(FTime):增量耗时(平均每小时两帧之间时间差>100ms的次数)
  • CPU Usage(Total整机/App进程，统计结果合Xcode一致)
  • Memory (是统计FootPrint，注：OOM与FootPrint有关，与系统、机型无关。只与RAM有关，如1G内存机器。FootPrint超过650MB，引起OOM）。受iOS平台限制，暂时没法获取ios10及如下系统的memory。后续版本增长。如作性能测试，建议升级iOS系统版本
  • Xcode Memory (XCode Debug Gauges统计方式即XCode Memory）。受iOS平台限制，暂时没法获取ios10及如下系统的Xcode Memory。后续版本增长。如作性能测试，建议升级iOS系统版本
  • Real Memory(Xcode Instrument统计方式即Real Memory，实际占用物理内存。注：物理内存与系统策略有关，关注意义不大)
  • Virtual Memory(虚拟内存)
  • Wakeups(线程唤醒次数)。注：超过150进程很大可能会被系统kill
  • CSwitch(上下文切换测试)。注：单核超过14000进程会被系统Kill
  • GPU Utilization(Render/Tilter/Device）
       1) Render：渲染器利用率(像素着色处理阶段，若占比高，说明是PS阶段出现瓶颈，shader过于复杂或纹理大小、采样复杂等) 
       2) Tilter:Tilter利用率(顶点着色处理阶段，若占比高，说明是VS阶段出现瓶颈，顶点数太多等缘由)
       3) Device:设备利用率(总体GPU利用率)
  • Network(Recv/Send，测试目标进程流量，和Xcode结果一致)
  • Battery Power(整机实时Current电流、Voltage电压、Power功率)（注：和Xcode Instrument结果一致）
  • Log(系统调试日志信息)
Android平台
  • Screenshot
  • FPS(1秒内游戏画面或者应用界面真实平均刷新次数，俗称帧率/FPS)
       1) Avg(FPS):平均帧率(一段时间内平均FPS)
       2) Var(FPS):帧率方差(一段时间内FPS方差)
       3) Drop(FPS):降帧次数(平均每小时相邻两个FPS点降低大于8帧的次数)
  • Jank(1s内卡顿次数。解释说明如iOS平台说明)
       1) BigJank:1s内严重卡顿次数
       2) Jank(/10分钟):平均每10分钟卡顿次数
       3) BigJank(/10分钟):平均每10分钟严重卡顿次数 
  • FTime(上下帧画面显示时间间隔，即认为帧耗时)
       1) Avg(FTime):平均帧耗时
       2) Delta(FTime):增量耗时(平均每小时两帧之间时间差>100ms的次数)
  • CPU Usage(Total整机/App目标进程，统计结果和Android Studio Profiler一致)
  • CPU Clock(各个CPU核心的频率和使用率)
  • Memory (PSS Memory，统计结果和Android Java API标准结果一致，与Meminfo也一致。注：部分三星机器系统修改了Meminfo底层统计方式，致使Meminfo与Java AP统计结果不一致，新出三星机器已修复)
  • Swap Memory (Swap Memory)
  • Virtual Memory
  • Memory Detail(NativePSS、GFX、GL、Unknown)
  • GPU Usage(目前仅支持高通芯片手机)
  • GPU Frequency(目前仅支持高通芯片手机)
  • Network(Recv/Send)
  • CTemp(CPU温度)
  • Battery Power(Current电流、Voltage电压、Power功率)（注：与仪器测试偏差<3%左右）
  • Log(系统调试日志信息)

上述内容来自官网使用文档。咱们了解了参数，就实际来操做一下吧。对于工具的介绍，网络上都有，我就结合本身的实际体验来讲吧。浏览器

使用的基本流程

在本身实践使用时，基本流程以下：网络

1.注册帐号（只有注册帐号后才能下载安装包） app

2.下载安装包并解压 工具

3.在perfdog后台建立测试项目 性能

4.打开可执行文件PerfDog.exe 测试

5.使用注册的帐号登陆

6.使用usb将手机和电脑链接（不能锁屏，开启调试模式）

7.选择链接模式（wifi仍是usb）

8.选择app应用列表

9.配置要监控的数据

10.开始记录数据

11.操做对应app

12.中止记录数据（不能少于10S）

13.上传记录数据

14.进入perfdog后台查看性能数据

流程介绍

前五步操做就不讲述了，你们都懂。咱们直接从第六步提及，我使用的是ios设备。

链接设备

iOS： 则即插即用，用户无需作任何操做。

Android： 有两种模式，非安装模式和安装模式。

  • a. 非安装模式：

    手机即插即用，无需任何设置及安装，使用很是简单，但手机屏幕上没有实时性能数据显示。

  • b. 安装模式：

    须要在手机上自动安装PerfDog.apk，手机屏幕上有实时性能数据显示。（请开启Debug调试模式、容许USB安装和PerfDog悬浮窗管理权限），启动PC版PerfDog.exe，则会在手机上自动PUSH安装PerfDog.apk，具体安装相似各个手机厂商安装第三方APP提示安装便可。（注：因为不少手机安装须要帐号密码，致使没法自动安装，若是自动安装失败，则会把安装文件PerfDog.apk释放到当前文件夹里，手动安装PerfDog.apk便可）。

这里重点说明下Android平台下，LMK和Swap这两个参数意义：

LMK：Android平台下OOM与游戏进程内存大小无关，主要是系统剩余物理内存有关。系统剩余物理内存小于LMK，则会引发OOM。

Swap： 系统进程用到zram/vnswap内存压缩技术。不一样手机系统启用Swap memeroy大小不一样。

测试模式

经过usb链接电脑后，出现以下界面，能够选择测试模式：

USB模式测试：

　　USB连线，在设备列表选择USB图标设备进行USB模式测试(插线模式测试功率无任何意义)。

WIFI模式测试(测试功率)：

　　USB连线后，在设备列表选择WIFI图标设备进行WIFI模式测试。WIFI检测链接成功后，拔掉USB链接线。（注：须要PC和被测手机链接同一WIFI，WIFI检测链接成功后，拔掉被测手机USB线(插线模式测试功率无任何意义)）。

在实践中，USB和WiFi模式我都有使用。选择模式后，界面会展现设备的详细信息，以下：

选择测试应用

选择模式后，则能够选择要测试的应用了（当前手机中的全部app均可以被选择），以下页面：

选择对应被测应用，并操做对应的app，界面展现以下：

注意点：Android平台，安装模式下，手机屏幕左上角有实时性能数据显示（Android手机请打开PerfDog悬浮窗管理权限，不然手机上不会显示性能参数）。

开启悬浮权限

android设备中的界面性能参数显示以下：

功能介绍

1.性能参数配置

性能参数可在界面中配置，点击界面中的+号便可，以下：

①点击对应条目参数，颜色会变深，图表数据则会展现在界面中

②勾选对应条目参数，表示须要收集该数据

2.记录保存

点击右侧的蓝色开始按钮，则表示在记录数据，以下：

须要注意的是：记录时间不能少于10S。少于10S，则会提示以下信息：

点击按钮后，记录会中止记录并保存数据，以下：

2.1 提交记录到perfdog后台

能够修更名称，点击confirm，数据会上传到perfdog的后台，以下：

能够查看详细的性能数据，以下所示：

2.2 记录保存到本地

勾选保存按钮，数据就会保存到本地，以下：

能够打开excel文件查看对应的性能数据：

3.数据回放

点击perfdog界面上的文件夹按钮，选择对应的本地数据，便可以回放记录，操做以下：

可在界面查看回放结果，以下：

4.批注及标定

双击鼠标左键，增长批注，再次双击，则取消批注。

单击鼠标左键，则增长标定，再次点击则从新标定。

增长了批注和标定的界面以下所示，红色为批注，淡紫色为标定：

5.性能参数分析

5.1 数据统计

能够选择一个时间段内的数据，进行统计，以下：

5.2 设置性能参数统计分析阈值

在perfdog界面中的setting下，能够配置，以下：

5.3 保存框选数据

对某一时间段内的数据框选后，能够单独保存片断，在框选范围内，右键便可，以下：

6.场景标签

经过标签按钮给性能数据打标签，鼠标左键双击颜色区域可修改对应区域标签名

7.日志记录

在perfdog界面，能够查看对应日志，也能够设置查看日志的等级，以下：

在尝试WIFI模式时，发现log按钮勾选不了。

8.中止功能

中止测试应用，不须要拔掉数据线，或者断开链接，在选择应用的界面中，选择NULL便可，以下：

9.截图录屏

链接安卓设备，并使用安装模式，可配置截屏参数，以下：

界面就会记录操做的过程，以下所示：

如此记录是否是很明了？但这种用法会影响性能参数，实际用途中不推荐。若是以为新鲜，能够尝试使用便可。

PerfDog后台使用

1.邀请人员

能够邀请对应人员一块儿维护测试项目

2.数据共享

数据共享后，能够在任务数据中查看明细，可按android、ios区分，以及app包的版本，设备版原本查看。

使用注意点

1.设备链接

iOS： 若PerfDog检测不到链接手机或没法测试，请先安装确保最新iTunes是否能连上手机。

Android： 请开启手机Debug调试模式及容许USB安装。

2.截图记录影响性能

截屏记录影响性能(总体FPS影响<=1。小米5:CPU=1%左右。IPhone7P:CPU<2%)，若无需请不要开启截屏。

总结

使用PerfDog工具下来，总体有如下几点感觉。

1.对性能指标的测试，更加便捷；

2.易操做

3.记录支持回放

4.数据便于管理与查看

PerfDog工具是款不错的性能测试工具，点赞一波。

最后，附上官方的操做手册：https://perfdog.qq.com/support

联系我们 沪ICP备13005482号-10