军用软件测评实验室测评过程要求

测评过程要求测评实验室专家组马力2006年4月6日提纲1、范围2、引用文件3、术语和定义4、管理要求4.1、组织4.2、测试过程4.3、项目管理4.4、文档和记录的管理范围规定了军用软件测评实验室在执行GJB2725A-2001《测试实验室和校准实验室通用要求》时的附加要求；适用于军用软件测评实验室。引用文件GJB2725A-2001测试实验室和校准实验室通用要求；GB/T11457软件工程术语。术语和定义软件测评实验室：softwaretestingandevaluatinglaboratories测试类型：testingtypes测试项：testingitems组织4.1.1实验室应有措施确保：实验室的工作不利用委托方所拥有的知识产权牟取利益；不以各种压力影响软件测评工作的公正性。4.1.2实验室应：制定保护委托方保密信息和知识产权的管理规定或程序文件；还应有措施确保软件安全和国防军事机密不被泄露。公正，不谋取私利保守秘密组织4.1.3为保证软件测评工作的公正性，实验室的测评工作应保持独立性：软件测试人员不应承担被测软件的开发工作。4.1.4实验室应确保每个软件测评项目配备相应人员，其中至少应包括：项目负责人；测试人员；测试监督员；质量保证人员；配置管理员。与被测软件组织、人员等方面没有关联确保5类人员组织4.1.5实验室的质量管理体系：应覆盖软件测试过程和软件测评项目管理；质量管理体系文件应具有可操作性，便于实施和有利于测评工作的顺利开展；对“必要”、“适用”和“明显”等用语给出确切的说明。管理体系完整、可操作总结质量管理体系完整可操作；在测评工作中应：公正；保密；独立。每个测评项目应配备5类人员：项目负责人；测试人员；测试监督员；质量保证人员；配置管理员。测试执行测试过程顺序执行的过程；测试过程包括：测试需求分析；测试策划；测试设计和实现；测试执行；测试总结，（包括评价过程和总结）等。测试需求分析测试策划测试设计和实现执行测试测试总结充分性？测试过程总结测试活动是有依据的；测试过程是顺序执行的过程，前一阶段的工作/工作产品是后续阶段的基础；工作产品（除记录外）要评审，并受到控制；过程评审有两个：测试就绪评审；测试总结评审。从测试依据开始，建立需求追踪机制，以证明测评需求的状态，从已分析到已评价。可使用需求跟踪矩阵测试过程工作产品及管理要求阶段工作产品评审和分析要求配置管理要求追溯性要求测试需求分析测试需求规格说明建立测试项与测试依据的追踪关系测试策划测试计划产品评审受到变更控制和版本控制建立与测试需求规格说明的关系测试说明产品经过评审，并得到相关人员认同，受到变更控制和版本控制，根据测试情况修订。确定与测试计划的追踪关系测试设计与实现测试就绪评审，与说明同时评审，应分别进行记录原始记录应受到严格管理至少包括测试用例标识、测试结果和发现的缺陷。问题及变更报告实施相应的变更软件问题报告测试执行分析测试的充分性测试报告/测评报告分析和评价测试工作分析和评价被测件测试总结评审测试总结将对以后有价值的数据和文档收集入库测试需求分析-4.2.2.1实验室对测评任务进行测试需求分析：进行测试需求分析的测试依据是：软件测评任务书；合同或其他等效文件；以及被测软件的需求规格说明或设计文档。测试需求分析的内容确定需要的测试类型：功能测试、性能测试等类型；确定需要的测试要求，包括：状态；接口；数据结构；设计约束等要求。标识类型和要求，标识应清晰、便于识别。确定测试类型中的各个测试项及其优先级。测试类型和测试要求均应与合同中规定相匹配；测试需求分析还要确定测试要求，要有具体的内容，应该保证可测试性。标识的目的是为了后续使用，一般应保证标识的唯一性。测试需求分析-4.2.2.2和4.2.2.4应建立测试类型中的测试项与测试依据的追踪关系。应将测试需求分析结果，按所确定的文档要求形成测试需求规格说明。测试需求规格说明应经过评审，并应受到变更控制和版本控制。软件测评任务书、合同或其他等效文件、以及被测软件的需求规格说明或设计文档必须的要求，有独立的测试需求规格说明，其格式可由实验室自行定义测试需求规格说明的管理要求：•经过评审；•受到管理和控制是同行评审的概念：要关注评审，有效的评审是提高测试质量的最好的方法测试策划-4.2.3.1~4.2.3.4实验室应根据测试依据进行测试策划；策划的内容；实验室应建立测试计划与测试需求规格说明的追踪关系；实验室应将的测试策划结果，按所确定的文档要求形成测试计划；测试计划应经过评审，并应受到变更控制和版本控制。在计划中，建立计划与需求的追踪表测试计划是有格式要求的文档，格式可由实验室自行规定测试计划的管理：•经过评审；•受到管理和控制测试设计和实现-4.2.4.1实验室应根据测试需求规格说明和测试计划进行测试设计和实现；应完成如下工作：设计测试用例；准备和验证所有的测试用数据；确定测试用例的执行顺序；准备并获取测试资源；必要时，编写测试执行需要的程序；建立和校核测试环境，记录和标识测试环境偏差。将测试项进行分解，针对分解后的每种情况设计测试用例；如测试环境所必须的软、硬件资源等如开发部件测试的驱动模块和桩模块以及测试支持软件等测试设计和实现-4.2.4.2~4实验室应将测试策划的工作结果，按照所确定的文档要求编写测试说明；确定测试说明与测试计划的追踪关系，给出清晰、明确的追踪表。测试说明的管理要求：应经过评审，得到相关人员的认同；受到变更控制和版本控制；根据测试实际情况，修订测试说明。测试说明是有格式要求的文档测试设计和实现-4.2.4.5测试就绪评审：在测试计划评审和测试说明评审后，还必须进行测试就绪评审，以确定能否开始执行测试；当测试说明评审与测试就绪评审同时进行时，应分别有相应的评审记录。测试设计和实现-4.2.4.5测试就绪评审要求：审查测试文档内容的完整性、正确性和规范性；通过比较测试环境与软件真实运行的软件、硬件环境的差异，审查测试环境要求是否正确合理、满足测试要求；审查测试活动的独立性和公正性；审查测试说明评审的有效性，如是否评审了测试项选择的完整性和合理性、测试用例的可行性和充分性。没有利益关系，人员具有独立性测试执行-4.2.5.1~4.2.5.2实验室应按照测试计划和测试说明的内容和要求执行测试。实验室应如实填写测试的原始记录，原始记录应（※）：受到严格管理；规范格式；至少包括测试用例标识、测试结果和发现的缺陷。及时、真实、完整支持问题可再现，证明所有设计的用例均得到执行测试执行-4.2.5.3~4.2.5.4实验室应根据每个测试用例的期望测试结果、实际测试结果和评估准则，判定测试用例是否通过。当测试用例不通过时，实验室应根据不同的缺陷类型，采取相应的措施：对测试工作中的缺陷，记录到相应的表格中（如《问题及变更报告》），并实施相应的变更；对被测软件的缺陷应记录到软件问题报告中；软件问题报告的格式应规范。如测试用例缺陷、测试数据缺陷、执行测试步骤时的缺陷、测试环境中的缺陷等，设计测试用例时，应确定期望的测试结果和评估准则。测试执行-4.2.5.5当所有的测试用例都执行完毕后，实验室应根据测试的充分性要求和有关原始记录，分析测试工作是否充分，是否需要进行补充测试：当正常终止时，如果发现测试工作不足，或测试未达到预期要求时，应进行补充测试。补充测试应视情况按4.2.2~4.2.4的要求进行；当异常终止时，应记录导致终止的条件、未完成的测试或未被修正的错误。功能覆盖、路径覆盖、渔具覆盖、分枝覆盖测试总结-4.2.6.1实验室应根据测试依据和测试文档对测试工作和被测软件进行分析和评价；并将对以后有价值的数据和文档收集入库。测试文档包括：测试需求规格说明；测试计划；测试说明；测试记录、问题及变更报告和软件问题报告等；测试报告和/或测评报告。软件测评任务书、合同（其他等效文件）、被测软件文档评价的准确性决定于测试活动进行的程度。测试总结-4.2.6.2实验室应对测试工作进行分析和评价；分析和评价包括：总结测试需求规格说明、测试计划和测试说明的变化情况及其原因；在测试异常终止时，说明未能被测试活动充分覆盖的范围及其理由；确定无法解决的软件测试事件并说明不能解决的理由。（总结报告）测试过程结合配置管理测试过程测试总结-4.2.6.3实验室对被测软件进行分析和评价；分析和评价包括：总结测试中所反映的被测软件与软件需求（或软件设计）之间的差异；可能时，根据差异评价被测软件的设计与实现，提出改进的建议；当进行配置项测试或系统测试时，需要时，测试总结中应对配置项或系统的性能做出评估，指明偏差、缺陷和约束条件等对于配置项或系统运行的影响。软件问题报告可以裁减有性能测试要求时，要说明偏差、缺陷和约束条件对软件运行的影响。测试总结-4.2.6.4实验室应分析本测评项目中的数据和文档，以供以后的测试使用；数据如：缺陷数据（包括缺陷描述、类型、严重性等）；用例数据；管理数据（如生产率、工作量、进度等）；文档如：好的用例设计；好的需求规格说明等。实验室自我总结和提高的过程。在CMM中建立过程资产库测试总结-4.2.6.5（※）实验室应根据测试依据和测试文档，对测试结果和问题进行分类和总结，按所确定的文档要求编写测试报告或测评报告；测评报告应包括：对测试结果的分析；对被测软件的评价和建议。测评报告和测试报告有时可以合并。软件测评任务书、合同（其他等效文件）、被测软件文档测试需求规格说明、测试计划、测试说明、测试记录和软件问题报告等测试报告：测评报告：测试总结-4.2.6.6实验室应进行测试总结评审；评审应在4.2.6.1～4.2.6.5的各项工作完成后进行，以确定是否达到测试目的，并给出评审结论；测试总结评审的求是审查：测试文档与记录内容的完整性、正确性和规范性；测试活动的独立性和有效性；测试环境是否符合测试要求；软件测试报告与软件测试原始记录和问题报告的一致性；实际测试过程与测试计划和测试说明的一致性；测试说明评审的有效性，如是否评审了测试项选择的完整性和合理性、测试用例的可行性和充分性；测试结果的真实性和正确性。策划的内容-1确定测试策略；确定测试需要的技术或方法；确定要受控制的测试工作产品，列出清单；确定每个测试项的测试充分性要求；如部件测试策略如测试数据生成与验证技术、测试数据输入技术、测试结果获取技术根据被测软件的重要性、测试目标和约束条件，确定每个测试项应覆盖的范围及范围所要求的覆盖程度策划的内容-2确定每个测试项测试终止的要求：包括测试过程正常终止的条件（如测试充分性是否达到要求）；导致测试过程异常终止的可能情况；确定用于测试的资源要求；进行测试风险分析；确定测试任务的结束条件；包括软硬件设备、环境条件、人员数量和技能等要求如技术风险、人员风险、资源风险和进度风险等根据测试需求和被测软件的特点确定结束条件策划的内容-3确定被测软件的评价准则和方法；确定测试活动的进度；确定需采集的度量及采集要求：应根据测试的要求，确定要采集的度量；特别是测试需求度量、用例度量、风险度量、缺陷度量等；应明确相应的数据库。应根据测试资源和测试项，确定进度测试说明的内容-1A）测试名称和项目标识；B）测试用例的追踪；C）测试用例说明；D）测试用例的初始化要求，包括：硬件配置；软件配置（包括测试的初始条件）；测试配置（如用于测试的模拟系统和测试工具）；参数设置（如测试开始前对断点、指针、控制参数和初始化数据的设置）等的初始化要求。说明测试所依据的内容来源，并跟踪到相应的测试项的标识（编号）简要描述测试的对象、目的和所采用的测试方法；测试说明的内容-2E）测试用例的输入；