团队做业5——测试与发布（alpha阶段）

测试

请根据团队项目中软件的需求文档、功能说明、系统设计和测试计划，写出软件的测试过程和测试结果，并回答下述问题。

1. 在测试过程当中总共发现了多少Bug？每一个类别的Bug分别为多少个？

   • a.修复的bug；

     • bug1：
       修复前：受权界面经过点击受权按钮跳出是否容许受权框，此时背景应该为设置的背景 图片，可是若是点击“容许”太慢，后面背景就已经进入到记帐的主界面了。
       修复后：修复前点击“容许”后，是经过点击用户头像来进入到记帐主界面的，因为反应时间 较快，这个过程并无显示出来，致使背景直接进入到主界面。修复后是将原来经过点击用户 头像进入主界面换成点击文字“欢迎使用EASY记”进入主界面。
     • bug2：
       修复前：查询界面的提示文字“选择所要查询的日期：”后面跟着当天的日期。
       修复后：提示文字后面应该是空白的，不该该一开始就显示日期。

   • b.不能重现的bug

     添加记帐小程序后，第一次使用底部导航条进行页面切换时，当从“主页”切换到“记帐”或 者“查询”页面时,底部导航条上面，紧挨导航条部分，会有绿色长条闪现。以后进行切换则 正常切换，不会出现绿色长条。

   • c.这个产品就是这样设计的，不是bug；

     记帐界面点击确认保存后，直接跳到主界面。在进行不少条帐单记录时，有可能会忘记已经记 录过，而重复记录，因此须要直接跳转到主界面进行查看。

   • d.没有能力修复，未来也不打算修复；

     标题栏名字“EASY记”在开发工具上是居中显示的，可是在真机上测试时是显示在左侧的。

   • e.这个bug的确应该修复，可是没有时间在这个版本修复，延迟到下一个版本修复。

     • bug1：帐单信息应该存储在数据库中，而不是在本地缓存里，因为alpha阶段还没有解决如何连 接到服务器使用数据库，因此这个bug将延迟到bata阶段修复。
     • bug2：来自用户的反馈，在查询界面只列出了帐单的信息，没有进行合计。因为考虑不充分， 这个问题咱们将在bata阶段解决它。
     • bug3：主页应该只有帐单详情区域能够滚动，整个主页不须要设置滚动。记帐界面是固定的几 项内容布局能够直观看完整，不须要经过滚动来完整查看。
2. 场景测试（scenario testing），包括如下内容：

   • 你预期不一样的用户会怎样使用你的软件？

     我预期的用户为全部须要和想要记帐的人。假设有一我的，他今天发工资啦，就上街给本身买了点东西，这时候他就想把本身今天花了多少钱，这个月工资收入了多少钱给记录下来，省得到时候忘记了，都不知道钱花到哪里去了。这时候他就能够打开微信，点击小程序应用，搜索EASY记，点击搜索出的结果，进入EASY记，微信受权后，进入帐单显示页面。这时候就能够进行记录他想要记录的帐单了。点击记帐图标，进入记帐页面，在支出页面中，将他今天买了什么东西，花了多少钱，记录下来，在收入页面中，将他今天发的工资金额记录下来。而后就能够在帐单显示页面中看到所记录的帐单和月支出、月收入的金额了。也能够在查询页面中查询他想要知道的帐单信息。或者点击帐单记录页面中的某条信息进行帐单的修改或者删除。

   • 他们有什么需求和目标？

     • 他们的需求：如今大多数人的我的财务管理意识都很薄弱，广泛呈现着一种现象——“啊，明明没买什么，怎么钱都用光了”，因此他们须要经过记帐的方式来合理的管理他们本身的财务，曾经使用传统的记帐本记帐，随身携带着及时将天天的收支记录下来，可是如今网络发展迅速，生活节奏加快，每一年的支付收入帐单络绎不绝，传统记帐已经知足不了人们的需求，因此他们须要一款能够随时、随地、随身进行记帐的、简约的、以最清新的界面给用户最温馨体验的记帐小程序。
     • 他们的目标：使用记帐小程序的用户的目标通常都是但愿能够将本身的每一天的帐目记录下来，到月末的时候能够对本月的收入、支出状况一清二楚，不会出现记不清本身到底在什么地方花了钱，花了多少钱，本身每月的收入是多少这样的状况。能够经过使用记帐小程序使得本身的财务管理可以清晰明了，不会出现糊涂帐的状况。

   • 你的软件提供的功能怎么组合起来知足他们的须要？

     1. 记帐功能使得用户能够将本身的天天的收入和支出状况记录下来，这样就不会出现有花钱，却又不知道花在哪里了，有收入，却又不知道这钱是从哪里来的状况了。
     2. 查询功能能够帮助用户查看用户本身在哪天的花销和收入状况，也可让用户知道本身哪一个月，哪年花了什么，收入了什么。这样就不会出现本身想要知道本身把钱花在哪都找不到，本身前段时间的收入来源也无处可寻的状况。
     3. 帐单显示界面可让用户一眼就能够看到本身的收入、支出状况，还能够看到本身的当月到目前为止支出了多少钱，收入了多少钱，从而推断出是否本身后面几天要省着花呢。
     4. 帐单的编辑页面能够对用户记录的帐单进行修改和删除，就能够将用户记录错误的帐目进行修改或者删除，以便保证帐单的正确性，这样才可以更好地实现用户的需求和目标。

3. 大家在什么样的平台、硬件配置、浏览器类型等条件上对大家的软件进行测试？——测试矩阵（test matrix）

   测试项	监测点	预产期结果	小米4	vivo X9	vixo X5	vivo Y66	oppo R11s
   微信受权界面	“微信受权”按钮	获取用户微信头像和微信昵称	√	√	√	√	√
   帐单显示页面	“主页”图标	若是有记录的帐目，就在该页面显示出对应的信息，并计算出到有记录的最后一个当月日期的月支出、月收入	√	√	√	√	√
   记帐页面	“记帐”图标和“保存”按钮	在该页面记录的收入支出信息能够保存成功，并显示到帐单显示界面中，且保存成功会跳转到帐单显示页面	√	√	√	√	√
   查询页面	“查询”图标和日期选择器	在该页面中能够经过选择不一样的日期，月份，年份来查询本身所要的帐单信息	√	√	√	√	√
   删除页面	“删除”按钮	从主页中的某条帐单信息点击后进行编辑页面，点击删除按钮能够将这条信息删除，删除成功后跳转回主页，主页中就没有这条信息了	√	√	√	√	√
   修改页面	“保存”按钮	从主页中的某条帐单信息点击后进行编辑页面，对这条帐单信息进行修改以后点击保存按钮，保存成功后会跳转回主页中，就会看到修改后的帐单	√	√	√	√	√

4. 非功能测试
   • 性能指标（响应时间和吞吐量，须要给出截图和测试实例以及结果）
   • 系统资源监控（CPU、内存占用状况，须要给出截图和测试实例以及结果）
   • 压力测试（不一样并发用户数，须要给出截图和测试实例以及结果）
   • 疲劳度测试（测试服务器持续运行的能力，须要给出截图和测试实例以及结果）
   • 安全测试（从三个角度来看，即保密性、可用性、完整性。须要给出截图和测试实例以及结果）
   • 参考
     • http://www.cnblogs.com/freeton/archive/2013/05/31/3109815.html
     • http://www.javashuo.com/article/p-niigqpxj-ma.html
     • 吞吐量：http://www.cnblogs.com/fnng/archive/2012/06/29/2570558.html
     • 并发用户：http://www.cnblogs.com/fnng/archive/2012/06/29/2570558.html
     • 响应时间：http://www.cnblogs.com/fnng/archive/2012/07/01/2571990.html

   ####PS：由于咱们的微信小程序没有用到服务器，因此像是性能测试，压力测试，疲劳度测试这些关于服务器的测试都不可以进行测试。

   序号	所完成的测试	系统所指望的性能指标	实际测试结果	差异分析	性能问题及其改进建议
   001	系统资源监控	平均cpu占用低于15%,平均内存占用不超过180M	平均内存占用128.44M，cpu平均占比14.02%	测试使用了云真机三星S8+和vivoX20A，以及微信开发工具自带测试报告PRO6s机型。从测试数据能够看出不一样手机cpu使用率和内存状况是不同的。三星S8+的cpu使用率接近于20%，内存使用状况175M,而vivo的CPU使用率接近于15%，内存使用状况165M。由于云真机测试是对apk测试，咱们用它来对小程序进行测试，从数据上看，当使用小程序和未使用小程序时微信的性能状况都是差很少的，也就是说小程序并无占用	通常都是cpu不够用致使卡顿问题，耗时的js操做异步化，不要阻塞主线程。少用scroll-view，这个组件对性能影响实在太大，单纯的只是须要一块可滚动区域，用wxss+view。
   002	安全测试—保密性	将用户的数据信息保密，不被泄露	有保证用户的我的信息不被泄露	每一个用户本身的信息存储在用户本地中，且每一个用户之间是不可以获取其余用户的信息的。	微信小程序自身这个平台的安全性就比较高，它自身的一些语句就有规定好安全的用法，像是request网络请求仅支持采用https。而且微信小程序是只可以得到用户的微信昵称，其余资料是不可以获取的，而且不容许跳转到外部网站，不容许放连接，不容许相互之间跳转。这在很大程度上保证了小程序的安全性。并且咱们本身还能够部署网络防火墙。
   003	安全测试—可用性	保证微信小程序的全部可以是可用的	咱们的微信小程序所拥有的功能均可以使用	实际测试和预期的结果没有多大的差异，能够正常使用。	微信小程序是应用在微信上的，而微信的安全性能自己就比较好，咱们将咱们的微信小程序放在微信上的，且微信小程序的规范也很大程度保护了小程序。咱们按微信小程序的规范进行小程序的发开能够保证微信小程序的安全。
   004	安全测试—完整性	保护数据的完整性和数据相关属性的完整性	咱们的微信小程序实现了完整性	微信小程序平台自己关于这方面就作得很好，像是网络传输时使用的都是https协议的，这样保证了小程序的安全，避免了小程序被经过不明连接攻击，且微信小程序平台和微信之间交互信息时都有使用密钥进行加密，且密钥不会发放。	微信小程序平台自己就已经针对各个问题设置了相关的操做，在最大程度上保证在微信小程序平台上开发出的小程序能够抵御必定程度的攻击。而且咱们本身也能够为咱们的小程序加上网络防火墙。

   系统资源监控：

   • vivoX20A机型
     
     

   • 三星S8+机型
     
     

   安全测试：
   

5. 附加题：下列的附加题基于4个标准要求中，进一步细化了要求

   测试项	基本要求	细化要求	分值
   性能指标	响应时间和吞吐量	除了总的响应时间的测试，还须要有性能瓶颈的分析，须要指出软件哪一个模块对响应时间有严重影响，能够从计算响应时间和I/O响应时间两个部分考虑，模块的粒度越小越集中越好，须要给出截图和测试实例以及分析	5
   系统资源监控	CPU、内存占用状况	与响应时间相似，须要给出哪一个模块占用CPU时间和内存最多，模块的粒度越小越集中越好，须要给出截图和测试实例以及分析	5
   压力测试	不一样并发用户数	须要给出相应的测试脚本	5
   疲劳度测试	测试服务器持续运行的能力	计算从服务开启的最长的运行时间，须要给出相应截图，能够从系统日志中查看	3
   安全测试	从三个角度来看，即保密性、可用性、完整性	保密性须要从数据保密性和用户使用过程的保密性来看。保证软件有必定的防护能力，能够针对保密性攻击有抵抗能力。可用性指针对恶意攻击有必定的抵抗能力保证服务可用和鲁棒。完整性要求用户数据不被篡改，操做间互不干扰，数据的一致性可以获得必定程度上的保证。	5

   系统资源监控：
   
   
   从上图能够看出记帐界面的CPU占用和内存使用状况都是最多，CPU占用最高可达42.5%，内存占用最高可达147M。由于记帐界面所须要进行的数据操做比较多，加载时间比较长，记帐须要输入的选项较多，而且须要将其读取并写入到缓存中，这相对于其余界面只须要读取所花的时间比较多。

   安全测试：
   微信小程序在传输或者进行网络请求时，使用的都是https协议的连接，使用了https协议的网页或网址之类在传输过程当中是进行了加密，整个页面都是进行了加密的，这样能够避免微信小程序的相关数据被泄露或者是被篡改。而且微信小程序是只可以得到用户的微信昵称和头像，其余资料是不可以获取的，而且不容许跳转到外部网站，不容许放连接，微信小程序之间是不容许相互跳转的。这在很大程度上保证了小程序的安全性，避免跳转到不明页面，致使小程序被攻击。

6. 你认为大家团队的软件在什么条件下，就能够认定其已经足够好，能够发布Alpha版本？——出口条件（exit criteria）

   我认为咱们团队的软件能够实现咱们的记帐小程序——EASY记，能够在使用咱们的记帐小程序的各个功能以前先实现微信受权功能，获取用户本身的微信头像和微信昵称；能够没有错误的实现记帐功能，能够很顺利地将咱们的某日的支出或收入的帐单记录下来；能够在有记帐记录的状况下在帐单显示页面即主页中将帐单信息显示出来，并计算出当月的月支出和月收入；能够在有记帐记录的状况下在查询界面中查询到本身想要查询到的相关帐单信息，不管是日帐单，月帐单仍是年帐单都是能够的；能够对记录的某一条帐单信息进行修改或者是删除，并将修改或者删除后的结果重返回到帐单显示界面即主页中去。在实现以上条件的状况下，咱们就能够认为本身的小程序已经足够好，能够发布Alpha版本了。

参考

1. 测试的计划及执行：
   • http://www.cnblogs.com/xinz/archive/2011/11/19/2255542.html
2. 测试报告实例：
   • http://www.cnblogs.com/buaase/p/4971390.html
3. 微信小程序/APP
   • 测试工具：XTest
   • 安装：https://github.com/TencentXTest/XTest/releases
   • 教程：
     • https://www.jianshu.com/p/aa7bd634736f
     • https://www.jianshu.com/p/21d58d68be97
     • 参考：微信小程序自动化实践
4. Jmerter性能测试：http://www.cnblogs.com/TankXiao/p/4045439.html
5. DBMonster是一个生成随机数据、用来测试SQL数据库的压力测试工具，详见 http://dbmonster.kernelpanic.pl/。
6. 更多的性能测试工具，可访问 http://www.opensourcetesting.org/performance.php

发布

1. 软件发布的同时，在团队博客上写一个发布说明
   • 列出这一版本的功能（在原有项目基础上开发的列出新功能）

   
   本版本拥有微信受权登陆记帐小程序的功能，微信受权后经过点击为微信头像下方的”欢迎使用EASY记!*_*” 文字进入记帐小程序的帐单显示界面。咱们能够经过点击帐单显示界面已有的帐单来进行帐单的修改和删除，进入修改和删除界面后，咱们能够根据咱们的须要进行相应的操做。咱们能够经过点击记帐图标进入记帐页面，进行记录咱们的平常收入和支出。咱们能够点击查询的图标进入查询页面进行帐单的查询，能够查询某日，某月，某年的帐单。

   • 以原有项目为基础开发的，列出这一版本修复的缺陷

     咱们的项目是全新的项目，目前尚未修复的缺陷。

   • 对运行环境的要求

     运行环境的要求：须要在手机上安装有微信，而且要可以使用微信小程序即用户先须要将微信更新至iOS6.5.3版本或Android6.5.3版本及以上版本。

   • 安装方法

     安装方法一：用户如今手机上下载微信，安装好微信以后，经过微信上的应用——小程序进行搜索，搜索咱们的记帐小程序——EASY记，点击搜索出来的小程序进入EASY记。而后会出现微信受权页面，微信受权后经过点击为微信头像下方的“欢迎使用EASY记!*_*” 文字进入EASY记的帐单显示页面。
     
     微信受权后
     

     安装方式二：二维码
     

   • 描述系统已知的问题和限制

     • 系统已知的问题在于由于咱们没有链接上数据库，使得咱们的记帐小程序使用的是本地缓存来记录用户输入的帐单记录。可是这就致使了一个问题，就是若是用户仅仅是退出小程序的话，原来输入的记录都会在，可是若是用户是将EASY记小程序删除以后，再次搜索EASY记点击进入并使用时，就会发现原来的数据没有掉了。
     • 系统已知的限制在于微信小程序必须是在微信中才可以找到和使用的，其余平台就不能够了。而且在使用过程当中，不可以将小程序删除掉，不然原来记录的帐单信息就没有了。

   • 说明软件的发布方式以及发布地址

     • 软件的发布方式：咱们的记帐小程序——EASY记是经过微信公众平台|小程序中的开发管理将咱们的发布版本提交审核，在经过审核后，将审核经过的版本发布出来。
     • 软件的发布地址：咱们的记帐小程序——EASY记是发布在微信的小程序中，能够在微信小程序应用中搜索到。
       

2. 对于功能的描述除了文字之外，能够经过图片、视频等进行辅助说明。
   

参考

版本发布说明的实例: http://www.cnblogs.com/buaase/p/4954977.html