公众号：程序员阿沐 系统测试总结报告 1 引言 1.1 编写目的 1.2 背景 1.3 用户群 1.4 定义 1.5 测试对象 1.6 测试阶段 1.7 测试工具 1.8 参考资料 2 测试概要 2.1 进度回顾 2.2 测试执行 2.3 测试用例 2.3.1 功能性 2.3.2 易用性 3 测试环境 3.1.1 软硬件环境 3.1.2 网络拓扑 4 测试结果 4.1 Bug趋势图 4.2 Bug优先级分布 4.3 问题类型分布 4.4 Bug模块分布图 4.5 最近提交缺陷图 4.6 Bug状态分布 5 测试结论 5.1 功能性 5.2 易用性 5.3 可靠性 5.4 兼容性 5.5 安全性 6 分析摘要 6.1 覆盖率 6.2 遗留缺陷的影响 6.3 建议 7 度量 7.1 资源消耗 7.2 缺陷密度 8 典型缺陷引入原因分析 引言 编写目的 编写该测试总结报告主要有以下几个目的 通过对测试结果的分析，得到对软件质量的评价分析测试的过程，产品，资源，信息，为以后制定测试计划提供参考评估测试测试执行和测试计划是否符合分析系统存在的缺陷，为修复和预防bug提供建议 背景 用户群 主要读者：XX项目管理人员，XX项目测试经理 其他读者：XX项目相关人员。 定义 严重bug：出现以下缺陷，测试定义为严重bug 系统无响应，处于死机状态，需要其他人工修复系统才可复原。点击某个菜单后出现＂The page cannot be displayed＂或者返回异常错误。进行某个操作（增加、修改、删除等）后，出现＂The page cannot be displayed＂ 或者返回异常错误当对必填字段进行校验时，未输入必输字段，出现＂The page cannot be displayed＂ 或者返回异常错误系统定义不能重复的字段输入重复数据后，出现＂The page cannot be displayed＂ 或者返回异常错误 测试对象 略 测试阶段 系统测试 测试工具 Bugzilla缺陷管理系统 参考资料 《XX需求和设计说明书》 《XX数据字典》 《XX后台管理系统测试计划》 《XX后台管理系统测试用例》 《XX项目计划》 测试概要 XX后台管理系统测试从2007年7月2日开始到2007年8月10日结束，共持续39天，测试功能点174个，执行2385个测试用例，平均每个功能点执行测试用例13.7个，测试共发现427个bug，其中严重级别的bug68个，无效bug44个，平均每个测试功能点2.2个bug。 XX总共发布11个测试版本，其中B1—B5为计划内迭代开发版本（针对项目计划的基线标识），B6－B8为回归测试版本。计划内测试版本，B1—B4测试进度依照项目计划时间准时完成测试并提交报告，其中B4版本推迟一天发布版本，测试通过增加一个人日，准时完成测试。B5版本推迟发布2天，测试增加2个人日，准时完成测试。 B6－B11为计划外回归测试版本，测试增加5个工作人日的资源，准时完成测试。 XX测试通过Bugzilla缺陷管理工具进行缺陷跟踪管理，B1—B4测试阶段都有详细的bug分析表和阶段测试报告。 进度回顾 版本/时间 计划开始时间 实际开始时间 计划完成时间 实际完成时间 加班 增加资源 B1 2007.7.2 2007.7.2 2007.7.5 2007.7.5 否 否 B2 2007.7.16 2007.7.16 2007.7.19 2007.7.19 否 否 B3 2007.7.23 2007.7.23 2007.7.25 2007.7.24 否 2个人日 B4 2007.7.28 2007.7.29 2007.7.31 2007.7.31 1个人1天1个人2天 2个人日 B5 2007.8.1 2007.8.2 2007.8.6 2007.8.3 否 2个人日 B6 2007.8.4 2007.8.4 2个人1天 2个人日 B7 2007.8.5 2007.8.5 1个人1天 1个人日 B8 B9 2007.8.9 2007.8.9 2007.8.10 2007.8.10 否 2个人日 B10 合计 1个人6天 11个人日 测试执行 此次测试严格按照项目计划和测试计划执行，按时完成了测试计划规定的测试对象的测试。针对测试计划规定的测试策略，在测试执行中都有体现，在测试执行过程中，依据测试计划和测试用例，对系统进行了完整的测试 测试用例 功能性 系统实现的主要功能，包括查询，添加，修改，删除。 系统实现的次要功能，包括为用户分配酒店，为用户分配权限，渠道酒店绑定，渠道RATE绑定，权限控制菜单按钮。 需求规定的输入输出字段，以及需求规定的输入限制 易用性 操作按钮提示信息正确性，一致性，可理解性 限制条件提示信息正确性，一致性，可理解性 必填项标识 输入方式可理解性 中文界面下数据语言与界面语言的一致性 测试环境 软硬件环境 硬件环境 应用服务器 数据库服务器 客户端 硬件配置CPU：Intel(R) Celeron(R) CPU 2.40GHz stepping 01 Memory： 1048256k HD：ST380817AS 80G SATACPU：Intel(R) Celeron(R) CPU 2.40GHz stepping 01 Memory： 1048256k HD：ST380817AS 80G SATACPU：Intel(R) Celeron(R) CPU 2.40GHz stepping 01 Memory： 1048256k HD：ST380817AS 80G SATA 软件配置OS：CentOS 4.2 JDK 1.5.0_06 Apache 2.2.0 Tomcat 5.5.15OS：CentOS 4.2 MySQL 5.0.17 Linux Window 2000 Professional （SP2）IE6.0.2900.2180.xpsp_sp2 网络环境 10M LAN 10M LAN 10M LAN 网络拓扑 测试结果 Bug趋势图 此次黑盒测试总共发布10个版本，V1.0.1-V1.0.5为计划内迭代开发版本（针对项目计划的基线标识），V1.1.1-V1.2.2为进行的回归测试版本，所有版本一共发现bug 1306个。bug版本趋势图如下图所示： 由Bug的版本分布图可以看出，V1.0.1-V1.0.5版本质量非常不稳定，bug数量最高达到189个，V1.0.1作为第一个版本bug数量为58个。在版本V1.0.3验证了前面发现的所有bug的基础上遗留bug数量在123个质量表现也不够稳定，在V1.1.1新增了批量制证、数据恢复、数据备份、数据清除等功能所以bug数目骤增为232个。随着版本的迭代在版本V1.2.2 bug数量逐渐将为0。 Bug优先级分布 测试发现的bug主要集中在未完善功能级别major，属于一般性的功能缺陷，但是测试的时候，出现了163个涉及到程序崩溃、程序启动不了、不能完成正常制证、不能完成正常印刷等严重级别的bug，出现严重级别的bug主要表现在以下几个方面： 系统的主要功能没有实现本地数据库数据量比较大的时候出现程序崩溃死机系统主要功能逻辑混乱导致意外bug后台进程在程序关闭后没有相应停止导致程序不能启动WebAPI接口调用错误导致核心功能不可实现 问题类型分布 系统的问题类型主要分布于测试过程和维护过程发现影响系统运行的缺陷bug和对现有系统功能的改进improvement。Bug占所有问题类型的百分比为：97%，improvement占所有问题类型的百分比为：3%。图上结果说明系统在需求采集、程序设计工作过程中考虑十分全面极少存在功能设计遗漏问题。 Bug模块分布图 由上图可以看出，bug主要分布模块是CerDesk印刷端（405个）和CerDesk制证端（534个）两个工作台，占到了全部bug的2/3以上。而CerWeb服务器端（260个）的bug分布相对来说比较少占总体百分比为7%。CerDesk运维端（107个）的bug量最少主要原因是功能比较简单。 最近提交缺陷图 由上图可以看出，在统计的十个周bug提交和解决状况比较理想，当前提交的bug都能够在很快的时间得到修复，并且随着版本的稳定解决bug数量为全部解决新增bug数量逐渐降为0，整个过程属于正常的软件版本迭代过程。 Bug状态分布 由bug状态图可以看出，打开的bug有0个，重新打开的bug有0个。已解决bug有2个，主要是版本V1.2.2中提交的界面易用性bug，而其他的1304个都是已验证修复并关闭的bug。系统整体的遗留bug数量达到测试结束标准。 测试结论 功能性 系统正确实现了通过数据字典管理基础数据的功能，实现了数据内容的多语言功能，实现了中英文界面。实现了基础数据管理，酒店集团管理，酒店基础信息管理，渠道管理，代理管理，用户管理的查询，添加，修改，删除的功能，系统还实现了将权限控制细化到菜单按钮的功能。 系统在实现用户管理下的权限管理功能时，存在重大的缺陷，权限控制不严密，权限设计有遗漏。 易用性 现有系统实现了如下易用性： 查询，添加，删除，修改操作相关提示信息的一致性，可理解性输入限制的正确性输入限制提示信息的正确性，可理解性，一致性 现有系统存在如下易用性缺陷： 界面排版不美观输入，输出字段的可理解性差输入缺少解释性说明中英文对应的正确性中英文混排 可靠性 现有系统的可靠性控制不够严密，很多控制是通过页面控制实现的，如果页面控制失效，可以向数据库插入数据，引发错误。 现有系统的容错性不高，如果系统出现错误，返回错误类型为找不到页面错误，无法回复到出错前的状态 兼容性 现有系统支持window下的IE浏览器和傲游浏览器，支持linux系统下的IE浏览器和火狐浏览器。 现有系统未进行其他兼容性测试 安全性 现有系统控制了以下安全性问题： 把某一个登录后的页面保存下来，不能单独对其进行操作不进行登录直接输入某一页面的Url能否打开页面并进行操作不应该允许。 现有系统未控制以下安全性问题： 用户名和密码应对大小写敏感登陆错误次数限制 分析摘要 覆盖率 此次测试，所有测试用例都是在中文界面下执行，未在英文界面下执行，测试不包括英文界面下的测试，也不包括正对英文翻译的测试。 此次测试，部分页面需求描述无明确的定义，对输入限制无详细定义，无明确的测试依据，在测试过程中，测试是根据输入字段含义，测试人员理解，以及和项目经理，开发人员沟通获得测试依据，无法保证测试依据的正确性和完整性，因此，没有进行完整的，正确的无效数据的测试，测试覆盖率不够，无法保证测试的有效性和正确性 下面为此次测试测试用例覆盖率分析图： 遗留缺陷的影响 1． 缺陷描述：酒店娱乐项添加页面， ＂距离＂字段无单位，建议增加单位 缺陷影响：距离字段无单位说明，无衡量标准，用户易用性不好 推迟原因：需求定义无单位定义，统一在升级版本中解决 2． 缺陷描述：酒店基础信息管理模块，默认语言设置不一致。用中文查询酒店，进入酒店基础信息模块后，如下模块，语言显示为＂请选择＂ 列表页面 添加页面 取消政策 停留政策 担保政策 机场 参照点 会议室详情 打包促销 服务 Rate 而其他模块语言显示＂中文语言＂ 缺陷影响：相同功能模块默认语言设置不一致，一致性不好 推迟原因：默认语言设置，目前无统一标准，升级版本中统一 3． 缺陷描述：tomcat日志有乱码，日志无项目名称，查看不方便 缺陷影响：其他项目日志都有项目名称，日志无项目名称，查看不方便 推迟原因：目前的日志为了调试方便，显示了很多其它信息，在项目正式发布时会统一处理的。 4． 缺陷描述：取消政策管理要么，取消时间＂天/小时＂缺少单位补充字段 缺陷影响：该处因为是两个不同的单位时间，需要有另外一个单位补充字段补充所所填写内容的单位 推迟原因：该缺陷单位补充字段本来存在，翻译不够准确，不能理解为补充单位的字段，需要等翻译完毕后再确认。 5． 缺陷描述：数据字典种类修改，默认值设置后，在调用该数据字典种类的数据字典，默认值无显示 缺陷影响：数据字典种类的默认值设置后，不能显示设置的默认值，相当于数据字典种类默认值设置功能未实现 推迟原因：该功能暂时不好实现，需要和和系统的默认语种一起处理。 6． 缺陷描述：担保政策管理页面，＂Edposit Due＂缺少解释行输入描述信息 缺陷影响：缺少解释性输入描述信息，用户不理解应该输入什么内容 推迟原因：需求没有描述，需要解释性说明文字由项目经理整理后，在升级版本中添加 7． 缺陷描述：多媒体添加，文件上传功能未实现 缺陷影响：文件上传功能未实现 推迟原因：该功能暂时不好完成，在下个版本中完成 8． 缺陷描述：参照点添加权限和修改权限单独控制出现权限异常错误 缺陷影响：用户执行添加，修改时，出现权限异常，无法完成任务 推迟原因：B9版本发现该权限，B10版本未通过验证，目前该模块开发人员调休，无法修改bug， 9． 缺陷描述：酒店渠道绑定关系权限控制出现权限异常错误 缺陷影响：a