中图分类号:TP311 文献标识码:A 文章编号:1009-2552(2010)04-0165-03
软件测试风险分析及预防
魏讲利
(东莞理工学院成教学院,东莞523106)
摘 要:目前,开发的软件产品存在有不同程度的问题,为了降低软件产品在使用过程中出现更多问题的风险,介绍了软件产品测试的目的、测试风险的种类,并提出在软件开发过程中预防风险的发生。
关键词:软件测试;风险分析;风险预防;软件风险;风险
Riskanalysisandpreventionofsoftwaretest
WEIJiang li
(SchoolofAdultEducation,DongguanCollegeofScienceandTechnology,Dongguan523106,China)
Abstract:Atpresen,ttherearesomeexistingproblemswithdifferentdegreesinmostdevelopedsoftwareproducts.Thispaperintroducedthepurposeofthesoftwaretests,
thecategoriesoftestrisks,and
proposedtheriskspreventioninsoftwaredevelopmentprocess.
Keywords:softwaretes;triskanalysis;riskprevention;softwarerisk;risk
随着计算机的高速发展,各行各业的业务信息化的步伐不断加快,对于高校来讲,办公管理处理系统建设和应用软件开发任务也日趋繁重,大量结构和功能复杂的高校应用软件相继开发完成并投入运行。这些应用软件在带来业务处理手段现代化和办公效率提升的同时,在项目实施和运行中也发生了一些问题。因此,软件开发者对软件在开发过程中测试重要性认识不断深化,并且关注软件测试带来的风险。
就风险来说(技术风险)。风险会影响软件计划的实现,如果风险变成现实,就有可能影响软件开发的进度,增加开发的成本,甚至使软件开发不能实现。如何防范这些风险带来的危害是要格外注意的一个问题。风险的危害=风险发生的概率 风险造成的危害。从这个共识,可以看出,要降低风险的危害,一个方式就是通过降低风险发生的概率以及风险造成的危害来保证项目的顺利实施。降低风险发生的概率,在功能测试中就是测试的覆盖率,尽量提高测试强度在尽可能多的覆盖所有的功能点,比如冒烟测试、合法数据测试、非法数据的测试,就是逐步增强测试强度来发现问题。另外一种方式就是降低风险造成的危害,从纯技术角度来说,软件测试发现的问题,其危害程度是不一样的,比如死机问题,应该是最严重的问题了,其次是功能无法实现,发现这些问题的价值往往是很大的。这些问题往往会产生严重的问题,如果及时发现这些问题,可以让开发人员及时进行修改,防止系统的这些问题给项目的
收稿日期:2009-09-17
作者简介:魏讲利(1977-),男,本科,讲师,研究方向为计算机
应用。
1 软件测试的目的
软件测试是为了发现错误而执行程序的过程。它不仅是软件开发阶段的有机组成部分,而且在整个软件工程(即软件定义、设计和开发过程)中占据相当大的比重。是软件质量保证的重要手段,要成功开发出高质量的软件产品,必须重视并加强软件测试工作。然而采用什么方法、如何有效地安排测试是软件测试领域中一直争论的话题。为了早期的发现软件存在的问题。在软件开发过程中有一个很重要的领域就是风险管理,而测试是防范和解决技术风险一个重要手段。这样可以很好解决测试在软件开发中的地位和作用问题。
开发带来严重的问题。(2)加强计划与控制
应加强软件测试实施的前瞻性工作研究,把握好软件开发、测试、工程实施的内在联系和工作规律,充分考虑各类技术测试在不同阶段的技术方案和工作量特点,编制并完善详细的软件测试计划。测试计划还应注意可实施性,注意测试环境准备、测试分析、设计、实施、总结阶段及评审、修改等的时间要求。测试团队还应高度关注计划的执行情况,关注进度偏差和每一工作环节的进展和质量。需要注意的是,软件项目进度如果安排不合理,可能造成不必要的软件版本生成和重复测试,因此,测试经理应参与软件系统工程实施计划的制订,并重点审查软件开发计划安排,尽量减少产品测试版本的产生。
(3)建立规范的工作制度
严格规范的工作制度是保障测试实施质量的基石。测试团队应及早制定易于理解、便于操作的各项制度。应充分倾听来自设计、编码、质量管理、系统与推广支持一线部门员工的意见,注意测试需求获取和分析、工作接口的设计。
(4)建立高效的测试流程
#软件工程产品评价第5部分:评价者用的过程∃(国标GB/T18905.5 2002)基本描述了复杂测试项目的测试流程,定义了从抽取测试需求到产生测试结论的整个过程中相互关联或相互作用的活动。测试团队应参照国标要求,根据组织架构和实际情况,制定针对不同类型测试的工作流程。同时要善于总结,发现流程在运行中存在的问题,不断完善和创新流程。要注意根据新软件测试、生产系统补丁测试、系统安装测试、工程实施步骤测试等各类型测试的不同实施特点,制定有针对性的测试流程,并提供流程文档的标准格式。
(5)重视了解软件背景和获取测试需求,确定测试范围和策略
为做好测试需求获取和分析工作,测试、开发、运行、业务等要建立良好交流合作关系。测试项目实施中,应由测试经理与有关部门统筹协调,组织测试设计、实施人员与开发人员一起讨论并明确业务需求、测试需求,确定测试策略和测试方案。当然,测试人员必须坚持自己的全局视角和技术高度的考虑,尽量合理地确定软件测试的范围、测试平台、测试环境、测试策略等重要内容。对于一项新的测试需求,测试人员应注意向有关人员了解清楚:测试需求说明是否准确全面;具体测试环境,软件版本是否具体全面;业务需求和设计文档是否齐全;软件产品
2 软件测试过程中常见的风险
在软件测试过程中经常会遇到的风险主要有以下七类:
(1)质量需求理解不准确的风险:在做需求中客户参与不够,质量需求或产品的特性理解不准确,造成测试范围分析的误差,结果某些地方始终测试不到或验证的标准不对,使得设计计划在幅度调整都给测试带来风险,导致测试时间、资金投入的增加。
(2)计划编制风险:计划、资源和产品定义全凭客户或上层领导口头指令,并且不完全一致;计划是优化的,是!最佳状态∀,但计划不现实,只能算是!期望状态∀;产品规模(代码行数、功能点、与前一产品规模的百分比)比估计的要大;涉足不熟悉的产品领域,花费在设计和实现上的时间比预期的要多。
(3)质量目标的风险:质量标准不是很清晰的,如适用性的测试、易用性的测试等。
(4)人的风险:相应的测试阶段开始时,相关测试人员因故不到位。另外,测试在大多数时间/情况下,是由工程师完成,而不是客户自己来做,所以又怎么能保证工程师和客户想得一样呢?
(5)测试环境和依赖的风险:一般不可能和实际运行环境完全一致,造成测试结果的误差。
(6)测试用例的风险:测试用例设计不到位,忽视了一些边界条件、深层次的逻辑、用户场景等必然带来一定的风险。
(7)工具的风险:测试工具有许多种,测试员对测试工具选择不当会给软件带来难以预知的风险。
以上七类风险有些可以事先规避,有的能够采取些措施降低风险发生的可能性或者风险发生后对项目的影响。
3 软件测试风险的预防
根据测试的实施情况,建议从以下几个方面改进工作,预防测试风险发生的高几率,提高测试质量。3 1 风险管理的相对措施
(1)成立测试项目团队,明确管理人员关注项目整体需要和测试的特殊需要,尽早确定测试经理,及时成立项目测试团队,根据软件测试项目大小确定项目所需要的各类测试和支持人员,保证人力投入。需要注意的是,测试人员的投入可以是阶段性逐步投入的,但测试经理和关键人员必须全程参与,以保证主要工作阶段可以将主要或全部精力投入该项目的测试工作。
是否完成前期测试,是否具备测试条件,测试时间要求是否合理。合理控制测试范围,准确制定测试策略是控制风险的前提。
(6)提高测试分析、规划和设计阶段的质量测试分析、测试内容规划、测试设计是控制测试风险,提高测试质量的关键。相关建议:一是注意建立系统化的思想,熟悉应用系统架构,软件的局部修改也要考虑对整个系统得影响,密切关注软件修改引起的系统其他环节的出错;二是注意运行要求,运行需求应始终贯穿在整个测试分析和设计中;三是测试规划应具有整体性,对软件测试要按工程需要进行整体规划,体现资源节约,测试案例复用的思想,同时便于集中精力做好关键环节的测试设计。测试内容和安排应在充分性、测试成本和质量之间找到平衡。
(7)进行测试工作审核
国家对软件测试的技术标准特别强调测试工作流程中的评审。笔者在测试工作中也有切身体会,针对大型复杂项目的测试,软件测试的技术和管理审核对降低测试风险至关重要。其中,应对测试计划、涉及多部门的测试方案、测试报告进行管理审核,应对测试需求分析、测试方案、测试案例、测试结果、测试报告进行技术评审,对具体测试案例结果则应安排专人进行确认复核或审核。审核能聚集审核者的智慧,发现测试中存在的关键、全局性问题,监控测试结果的准确可信,把一个个软件测试风险点消灭在测试工作中。3 2 技术风险的相应措施
首先,重视测试队伍建设,进行员工技术培训。应建立员工持续培训计划,通过授课、案例分析、研究讨论等多种形式进行业务技术培训,提高员工技术、业务、项目管理和执行能力。还应在测试队伍中配备具有较高系统分析水平和技术能力的骨干人员,带动队伍在实际工作中增长知识,提高才干,从而打造一支技术过硬的测试团队。其次,跟踪测试技术和测试工具的技术进展,在工程实践中探索新工具、新技术、新方法的使用,必要时安排力量开发满足项目需要的测试工具软件,建立自己的测试基础平台。再次,安排专人对测试环境和生产环境进行严格的版本管理,审核、登记各类系统变更和软件升级,及时进行测试环境同步,周期性进行环境检查,尽量保证测试环境与生产环境的一致性,提高测试结果的准确可靠性。最后,测试用例的选择。什么样的测试用例是好的测试用例,如果是发现从未
发现过的测试用例才是好的测试用例,那么在回归测试的,如果所有测试用例都通过了,这些测试用例都是坏的测试用例吗?这显然说不过去,在我看来,评判一个测试用例好坏应该有两个标准,一个是是否发现问题的概率比较高的测试用例才是好的测试用例,另外一个便于开发人员确定问题的测试用例才是好的测试用例,这里说的比较复杂,举几个例子。
如果说发现了未发现的bug的测试是好的测试,这个东西如何实施就无法确定,没有测试谁知道哪个测试用例可能发现问题,所以测试人员根本无法实施测试工作的改进,但如果说发现问题可能性比较大的,就比较好实施了,比如划分等价类,边界值等方法都是经过长期总结出来的发现问题可能性比较大的方法。另外,测试的目的,是修改问题,在软件开发过程中,如果要修改问题,首先要定位,其次判断问题发生的条件,如果你的测试用例(一般来说是几个或者几十个)可以让开发人员发现问题发生的规律,那么他们可以方便的发现问题发生的规律,对开发人的定位工作会起到很大的帮助作用,这样的测试用例对提高产品质量的作用是很大的。3 3 道德风险的相应措施
首先,严格考察合作伙伴,不选没有合格项目经理、不能提供很好产品和技术服务的厂商。对合作伙伴严格要求,并在合同中进行详细约束,保证采购的服务质量和时间不打折扣。其次,对内部人员加强管理和约束,对测试案例设计安排开发人员审核,对测试执行过程安排人员进行审核和双签认可。原始测试结果记录应包含测试人员、确认人员的签字并存档。
4 结束语
综上所述可以看出,开发人员是能够在与风险管理、技术措施、道德风险三个方面采取有效措施规避需求风险的,这些措施的核心是保证软件在开发过程中以及在软件使用中尽量减少软件出现各种各样的问题,是软件风险降低的最低。参考文献:
[1] 陈渌萍.性能:软件测试中的重中之重[EB/OL].http://www.
51testing.com/tech/performance,2003-08-25.
[2] BLACKR.测试流程管理[M].北京:北京大学出版社,2001:
3-5.
[3] KITE.软件测试过程改进[M].北京:机械工业出版社,2003:
18-1.
[4] 罗国庆.实用软件测试方法与应用[M].北京:电子工业出版
社,2003.
责任编辑:李光辉
中图分类号:TP311 文献标识码:A 文章编号:1009-2552(2010)04-0165-03
软件测试风险分析及预防
魏讲利
(东莞理工学院成教学院,东莞523106)
摘 要:目前,开发的软件产品存在有不同程度的问题,为了降低软件产品在使用过程中出现更多问题的风险,介绍了软件产品测试的目的、测试风险的种类,并提出在软件开发过程中预防风险的发生。
关键词:软件测试;风险分析;风险预防;软件风险;风险
Riskanalysisandpreventionofsoftwaretest
WEIJiang li
(SchoolofAdultEducation,DongguanCollegeofScienceandTechnology,Dongguan523106,China)
Abstract:Atpresen,ttherearesomeexistingproblemswithdifferentdegreesinmostdevelopedsoftwareproducts.Thispaperintroducedthepurposeofthesoftwaretests,
thecategoriesoftestrisks,and
proposedtheriskspreventioninsoftwaredevelopmentprocess.
Keywords:softwaretes;triskanalysis;riskprevention;softwarerisk;risk
随着计算机的高速发展,各行各业的业务信息化的步伐不断加快,对于高校来讲,办公管理处理系统建设和应用软件开发任务也日趋繁重,大量结构和功能复杂的高校应用软件相继开发完成并投入运行。这些应用软件在带来业务处理手段现代化和办公效率提升的同时,在项目实施和运行中也发生了一些问题。因此,软件开发者对软件在开发过程中测试重要性认识不断深化,并且关注软件测试带来的风险。
就风险来说(技术风险)。风险会影响软件计划的实现,如果风险变成现实,就有可能影响软件开发的进度,增加开发的成本,甚至使软件开发不能实现。如何防范这些风险带来的危害是要格外注意的一个问题。风险的危害=风险发生的概率 风险造成的危害。从这个共识,可以看出,要降低风险的危害,一个方式就是通过降低风险发生的概率以及风险造成的危害来保证项目的顺利实施。降低风险发生的概率,在功能测试中就是测试的覆盖率,尽量提高测试强度在尽可能多的覆盖所有的功能点,比如冒烟测试、合法数据测试、非法数据的测试,就是逐步增强测试强度来发现问题。另外一种方式就是降低风险造成的危害,从纯技术角度来说,软件测试发现的问题,其危害程度是不一样的,比如死机问题,应该是最严重的问题了,其次是功能无法实现,发现这些问题的价值往往是很大的。这些问题往往会产生严重的问题,如果及时发现这些问题,可以让开发人员及时进行修改,防止系统的这些问题给项目的
收稿日期:2009-09-17
作者简介:魏讲利(1977-),男,本科,讲师,研究方向为计算机
应用。
1 软件测试的目的
软件测试是为了发现错误而执行程序的过程。它不仅是软件开发阶段的有机组成部分,而且在整个软件工程(即软件定义、设计和开发过程)中占据相当大的比重。是软件质量保证的重要手段,要成功开发出高质量的软件产品,必须重视并加强软件测试工作。然而采用什么方法、如何有效地安排测试是软件测试领域中一直争论的话题。为了早期的发现软件存在的问题。在软件开发过程中有一个很重要的领域就是风险管理,而测试是防范和解决技术风险一个重要手段。这样可以很好解决测试在软件开发中的地位和作用问题。
开发带来严重的问题。(2)加强计划与控制
应加强软件测试实施的前瞻性工作研究,把握好软件开发、测试、工程实施的内在联系和工作规律,充分考虑各类技术测试在不同阶段的技术方案和工作量特点,编制并完善详细的软件测试计划。测试计划还应注意可实施性,注意测试环境准备、测试分析、设计、实施、总结阶段及评审、修改等的时间要求。测试团队还应高度关注计划的执行情况,关注进度偏差和每一工作环节的进展和质量。需要注意的是,软件项目进度如果安排不合理,可能造成不必要的软件版本生成和重复测试,因此,测试经理应参与软件系统工程实施计划的制订,并重点审查软件开发计划安排,尽量减少产品测试版本的产生。
(3)建立规范的工作制度
严格规范的工作制度是保障测试实施质量的基石。测试团队应及早制定易于理解、便于操作的各项制度。应充分倾听来自设计、编码、质量管理、系统与推广支持一线部门员工的意见,注意测试需求获取和分析、工作接口的设计。
(4)建立高效的测试流程
#软件工程产品评价第5部分:评价者用的过程∃(国标GB/T18905.5 2002)基本描述了复杂测试项目的测试流程,定义了从抽取测试需求到产生测试结论的整个过程中相互关联或相互作用的活动。测试团队应参照国标要求,根据组织架构和实际情况,制定针对不同类型测试的工作流程。同时要善于总结,发现流程在运行中存在的问题,不断完善和创新流程。要注意根据新软件测试、生产系统补丁测试、系统安装测试、工程实施步骤测试等各类型测试的不同实施特点,制定有针对性的测试流程,并提供流程文档的标准格式。
(5)重视了解软件背景和获取测试需求,确定测试范围和策略
为做好测试需求获取和分析工作,测试、开发、运行、业务等要建立良好交流合作关系。测试项目实施中,应由测试经理与有关部门统筹协调,组织测试设计、实施人员与开发人员一起讨论并明确业务需求、测试需求,确定测试策略和测试方案。当然,测试人员必须坚持自己的全局视角和技术高度的考虑,尽量合理地确定软件测试的范围、测试平台、测试环境、测试策略等重要内容。对于一项新的测试需求,测试人员应注意向有关人员了解清楚:测试需求说明是否准确全面;具体测试环境,软件版本是否具体全面;业务需求和设计文档是否齐全;软件产品
2 软件测试过程中常见的风险
在软件测试过程中经常会遇到的风险主要有以下七类:
(1)质量需求理解不准确的风险:在做需求中客户参与不够,质量需求或产品的特性理解不准确,造成测试范围分析的误差,结果某些地方始终测试不到或验证的标准不对,使得设计计划在幅度调整都给测试带来风险,导致测试时间、资金投入的增加。
(2)计划编制风险:计划、资源和产品定义全凭客户或上层领导口头指令,并且不完全一致;计划是优化的,是!最佳状态∀,但计划不现实,只能算是!期望状态∀;产品规模(代码行数、功能点、与前一产品规模的百分比)比估计的要大;涉足不熟悉的产品领域,花费在设计和实现上的时间比预期的要多。
(3)质量目标的风险:质量标准不是很清晰的,如适用性的测试、易用性的测试等。
(4)人的风险:相应的测试阶段开始时,相关测试人员因故不到位。另外,测试在大多数时间/情况下,是由工程师完成,而不是客户自己来做,所以又怎么能保证工程师和客户想得一样呢?
(5)测试环境和依赖的风险:一般不可能和实际运行环境完全一致,造成测试结果的误差。
(6)测试用例的风险:测试用例设计不到位,忽视了一些边界条件、深层次的逻辑、用户场景等必然带来一定的风险。
(7)工具的风险:测试工具有许多种,测试员对测试工具选择不当会给软件带来难以预知的风险。
以上七类风险有些可以事先规避,有的能够采取些措施降低风险发生的可能性或者风险发生后对项目的影响。
3 软件测试风险的预防
根据测试的实施情况,建议从以下几个方面改进工作,预防测试风险发生的高几率,提高测试质量。3 1 风险管理的相对措施
(1)成立测试项目团队,明确管理人员关注项目整体需要和测试的特殊需要,尽早确定测试经理,及时成立项目测试团队,根据软件测试项目大小确定项目所需要的各类测试和支持人员,保证人力投入。需要注意的是,测试人员的投入可以是阶段性逐步投入的,但测试经理和关键人员必须全程参与,以保证主要工作阶段可以将主要或全部精力投入该项目的测试工作。
是否完成前期测试,是否具备测试条件,测试时间要求是否合理。合理控制测试范围,准确制定测试策略是控制风险的前提。
(6)提高测试分析、规划和设计阶段的质量测试分析、测试内容规划、测试设计是控制测试风险,提高测试质量的关键。相关建议:一是注意建立系统化的思想,熟悉应用系统架构,软件的局部修改也要考虑对整个系统得影响,密切关注软件修改引起的系统其他环节的出错;二是注意运行要求,运行需求应始终贯穿在整个测试分析和设计中;三是测试规划应具有整体性,对软件测试要按工程需要进行整体规划,体现资源节约,测试案例复用的思想,同时便于集中精力做好关键环节的测试设计。测试内容和安排应在充分性、测试成本和质量之间找到平衡。
(7)进行测试工作审核
国家对软件测试的技术标准特别强调测试工作流程中的评审。笔者在测试工作中也有切身体会,针对大型复杂项目的测试,软件测试的技术和管理审核对降低测试风险至关重要。其中,应对测试计划、涉及多部门的测试方案、测试报告进行管理审核,应对测试需求分析、测试方案、测试案例、测试结果、测试报告进行技术评审,对具体测试案例结果则应安排专人进行确认复核或审核。审核能聚集审核者的智慧,发现测试中存在的关键、全局性问题,监控测试结果的准确可信,把一个个软件测试风险点消灭在测试工作中。3 2 技术风险的相应措施
首先,重视测试队伍建设,进行员工技术培训。应建立员工持续培训计划,通过授课、案例分析、研究讨论等多种形式进行业务技术培训,提高员工技术、业务、项目管理和执行能力。还应在测试队伍中配备具有较高系统分析水平和技术能力的骨干人员,带动队伍在实际工作中增长知识,提高才干,从而打造一支技术过硬的测试团队。其次,跟踪测试技术和测试工具的技术进展,在工程实践中探索新工具、新技术、新方法的使用,必要时安排力量开发满足项目需要的测试工具软件,建立自己的测试基础平台。再次,安排专人对测试环境和生产环境进行严格的版本管理,审核、登记各类系统变更和软件升级,及时进行测试环境同步,周期性进行环境检查,尽量保证测试环境与生产环境的一致性,提高测试结果的准确可靠性。最后,测试用例的选择。什么样的测试用例是好的测试用例,如果是发现从未
发现过的测试用例才是好的测试用例,那么在回归测试的,如果所有测试用例都通过了,这些测试用例都是坏的测试用例吗?这显然说不过去,在我看来,评判一个测试用例好坏应该有两个标准,一个是是否发现问题的概率比较高的测试用例才是好的测试用例,另外一个便于开发人员确定问题的测试用例才是好的测试用例,这里说的比较复杂,举几个例子。
如果说发现了未发现的bug的测试是好的测试,这个东西如何实施就无法确定,没有测试谁知道哪个测试用例可能发现问题,所以测试人员根本无法实施测试工作的改进,但如果说发现问题可能性比较大的,就比较好实施了,比如划分等价类,边界值等方法都是经过长期总结出来的发现问题可能性比较大的方法。另外,测试的目的,是修改问题,在软件开发过程中,如果要修改问题,首先要定位,其次判断问题发生的条件,如果你的测试用例(一般来说是几个或者几十个)可以让开发人员发现问题发生的规律,那么他们可以方便的发现问题发生的规律,对开发人的定位工作会起到很大的帮助作用,这样的测试用例对提高产品质量的作用是很大的。3 3 道德风险的相应措施
首先,严格考察合作伙伴,不选没有合格项目经理、不能提供很好产品和技术服务的厂商。对合作伙伴严格要求,并在合同中进行详细约束,保证采购的服务质量和时间不打折扣。其次,对内部人员加强管理和约束,对测试案例设计安排开发人员审核,对测试执行过程安排人员进行审核和双签认可。原始测试结果记录应包含测试人员、确认人员的签字并存档。
4 结束语
综上所述可以看出,开发人员是能够在与风险管理、技术措施、道德风险三个方面采取有效措施规避需求风险的,这些措施的核心是保证软件在开发过程中以及在软件使用中尽量减少软件出现各种各样的问题,是软件风险降低的最低。参考文献:
[1] 陈渌萍.性能:软件测试中的重中之重[EB/OL].http://www.
51testing.com/tech/performance,2003-08-25.
[2] BLACKR.测试流程管理[M].北京:北京大学出版社,2001:
3-5.
[3] KITE.软件测试过程改进[M].北京:机械工业出版社,2003:
18-1.
[4] 罗国庆.实用软件测试方法与应用[M].北京:电子工业出版
社,2003.
责任编辑:李光辉