搜索
2018年03月01日发布2018年09月01日实施CNAS-CL01-A019检测和校准实验室能力认可准则在软件检测领域的应用说明GuidanceontheApplicationofTestingandCalibrationLaboratoriesCompetenceAccreditationCriteriaintheFieldofSoftwareTesting中国合格评定国家认可委员会CNAS-CL01-A019:2018第1页共10页2018年03月01日发布2018年09月01日实施前言本文件由中国合格评定国家认可委员会（CNAS）制定，是结合软件测试的特点对CNAS-CL01《检测和校准实验室能力认可准则》的部分条款要求作进一步的说明，并不增加或减少该准则的要求。本文件与CNAS-CL01《检测和校准实验室能力认可准则》同时使用。在结构编排上，本文件章、节的条款号和条款名称均采用CNAS-CL01中章、节条款号和名称，对CNAS-CL01应用说明的具体内容在对应条款后给出。本文件第3章“术语和定义”中，增加了CNAS-CL01之外的术语，故术语和定义的排列序号与CNAS-CL01不对应。本文件代替CNAS-CL45:2013《检测和校准实验室能力认可准则在软件检测领域的应用说明》。本次修订主要根据CNAS-CL01:2018《检测和校准实验室能力认可准则》对章节号重新进行了编排，并按照CNAS的统一要求调整文件编号。CNAS-CL01-A019:2018第2页共8页2018年03月01日发布2018年03月01日实施检测和校准实验室能力认可准则在软件检测领域的应用说明1范围本文件适用于所有从事软件测试的实验室。2引用文件CNAS-CL01:2018《检测和校准实验室认可准则》GB/T11457:2006《软件工程术语》3术语和定义GB/T11457中确立的术语和定义适用于本文件。以下术语和定义也适用。3.1测试输入项requisitethingsfortesting完成软件测试任务需要有关方提供的测试条件。如被测试软件、测试依据和标准。3.2测试技术文档testtechniquedocument软件测试过程中按照某种规范文档化的测试策划、测试设计等活动的技术成果。如测试计划、测试说明。3.3测试环境testingcontext按照测试要求和设计的测试方法，驱动、控制被测试软件运行或解析被测试软件本体的硬件、软件、数据、场地及其他技术设施的集成。3.4被测试软件softwareundertesting送实验室测试的软件产品，包括程序、技术文档和数据。3.5测试需求testrequirements按照特定的标准或规范对被测试软件实现其研制要求或研制合同等文件规定的软件能力及其特性进行的必要测试。3.6测试项testitems对软件的实体元素、能力要素或特性要素需要进行某一测试种类测试的测试集。3.7测试套testsuite由完成被测软件应用处理业务的某一个操作剖面或被测软件源程序流程图的某一个计算处理流程的那些测试用例组成一组测试。4通用要求4.1公正性CNAS-CL01-A019:2018第3页共8页2018年03月01日发布2018年03月01日实施4.1.3如果实验室所在的组织从事软件测试以外的活动涉及软件开发，应有承诺采取措施确保不利用被检测软件相关方的知识产权牟取利益。5结构要求6资源要求6.1总则实验室在制定软件测试方法和程序、培训和考核人员、选择和校准所用设备时，应考虑到软件测试过程和测试项目管理活动的因素。6.2人员6.2.2软件测试实验室的人员应满足以下要求：a)从事软件测试人员，应具有计算机及相关专业的大专（含）以上学历、并获得国家或行业承认的软件测试技术专业培训合格资质或计算机软件相关专业的高级工程师，具备与软件测试任务相适应的被测试软件背景知识和软件测试技术。b)各类人员其他应满足的要求包括：1）从事软件测试项目管理、测试需求分析、测试策划和测试设计活动的人员，一般应有2年（含）以上软件开发工作经历或3年以上软件测试技术工作经历；2）软件测试执行人员，一般应有3个月（含）以上软件测试技术岗位实习工作经历，并至少实习完成1个软件测试项目；3）负责软件测试结果评价（评估）、方法确认、质量核查的人员，以及软件测试报告审核人和批准人，一般应有3年（含）以上软件测试技术工作经历。c）实验室对软件检测人员进行的培训，应包括安全保密、知识产权保护以及软件测试有关的法规、标准。d）实验室应：1）至少具有5名软件检测人员；2）由熟悉软件项目管理、开发、测试及标准、规程、规范的技术人员负责组织实施软件检测任务。3）由熟悉软件检测过程以及软件测试标准、规范、规程，软件质量评价和软件测试质量评价的人员，负责对软件检测人员实施质量核查，审核软件测试过程和形成的软件测试工作产品是否符合相应的标准、规范；4）由熟悉软件测试需求、测试结果评价和判定准则的人员负责对软件测试输入和测试结果进行核查。6.3设施和环境条件6.3.1实验室的设施和环境条件应确保测试数据和测试设备的完好、安全、稳定，测试场地一般应具备防静电、电源故障保护措施。如果软件测试在实验室固定场CNAS-CL01-A019:2018第4页共8页2018年03月01日发布2018年03月01日实施所以外进行，应有措施控制测试设施和环境条件满足测试任务要求，确保其测试记录及数据的完整和安全，防止非授权实体的进入。6.3.2在实验室固定场所以外测试环境实施软件测试的过程控制和项目管理，应考虑在实验室固定场所以外测试环境与实验室受控环境的各种不同因素，采取相应措施形成文件使测试活动满足管理要求和技术要求。6.3.3对结果有影响的因素，实验室进行监控和记录环境条件，应有防止计算机病毒、木马程序等事项不良程序交叉感染测试环境，如防病毒软件的升级及记录。6.3.4b)应有措施保证软件测试项目使用的计算机及网络与该项目以外的计算机及其网络有效隔离，防止外部环境不可控因素对被测软件和测试结果造成不良影响。当通过实验室以外的网络实施远程测试时，应注意影响网络正常运行的环境条件。6.4设备6.4.1软件测试设备可包括测试工具软件以及计算机系统、网络系统、适配器、测试输入和结果输出等硬件设备。当利用计算机或自动设备对软件测试数据进行采集、处理、记录、报告、存储或检索时，实验室应对这些测试数据处理有关的软件进行核实，并对测试环境中测试工具软件的计算和数据转移进行系统和适当的检查。实验室应规定程序保证测试环境中的所有测试软件应为正式软件或与客户约定的软件，且版本正确。注1：正式软件指按照程序得到验证、通过批准的货架软件和经同行专家技术鉴定的非货架软件。注2：可运行一小组测试，验证测试工具软件（包括嵌入式测试工具软件配套的硬件设备）已正确安装。6.4.3实验室应对测试工具软件进行版本升级和配置控制，防止误用。6.4.4有指标要求的测试工具在投入使用前应对其使用范围进行检查。例如，允许500个用户的测试工具，在初次使用前，应采用适当的方法对其是否符合要求予以核查确认。6.4.12正在进行测试的设备应张贴“测试中”的标识，并在屏保中设置标识，以避免错误调整测试环境影响测试工作的进行。6.4.13设备记录应包括测试所用设备的配置及支撑软件等信息（包括：工具类型、名称、生产厂商、版本号、用途与性能、启用时间、许可证书、主要选件、技术文件及运行平台等信息）。测试工具软件的不同版本，均应加以唯一性标识。6.5计量溯源性6.5.3当无法溯源的测量方法和测试工具是新的或进行了重大更新，实验室应采取措施检测测试方法和测试工具的有效性，确保软件测试的“溯源性效果”，提供测试结果可信度。检查措施可包括：a)适用时，对特定测试样例软件进行测试，审查测试样例软件预埋问题的CNAS-CL01-A019:2018第5页共8页2018年03月01日发布2018年03月01日实施复现情况，确认其偏差。b)适用时，应溯源到权威的测试集规范或其它有关的权威标准或规范，还应提供所得结果与预期结果的比较，并列出已知的缺陷。c)适用时，测试报告应标明测试结果溯源到可获得的国际标准测试集或相关的权威测试集。d)如果规范与测试用例实现之间存在着重大差异，应说明每个测试用例的实现是如何真实地来源于规范，并保留判定或测量信息。e)实验室应规定用于确认每个新版本测试方法或测试工具的程序和方法。可行时，包括对测试环境中使用的工具软件对正确母版本的“溯源性”。7过程要求7.1要求、标书和合同的评审7.1.1a)实验室应制订合同评审程序，以确保：1)对测试项目结束后如何处置测试输入项和测试工作产品、如何向客户交付测试产品（包括交付项、交付形式和数量等）应予明确、充分规定。2)对测试项目结束条件、测试风险应予充分规定；3)对开展测试准备了解测试任务的同时逐步完善合同内容的评审，或可能延续到软件测试计划、测试需求和测试说明阶段的评审，应予充分规定；4)对测试目的、为达到测试目的需要提供给实验室的测试输入项、测试输入项的提供方式以及提供时机应予充分规定。测试输入项可包括：——符合标准规范要求的被测试软件产品，包括程序、软件文档、数据文档；——文档化的被测试软件的分配需求（可含技术需求、非技术需求和验收准则），如研制要求、软件研制任务书等；——被测试软件安装运行环境以及其他配合被测试软件运行的设备设施、软件、数据等详细信息。7.1.1c)实验室应对检测任务进行测试需求分析，测试策划应由实验室完成，外部提供测试服务的合同或协议应满足客户要求，明确外部提供测试服务的评审和监督要求，由客户或法定管理机构指定的外部提供者除外。7.1.6对测试周期（接受被测试软件至交付测试报告）超过6个月的软件测试项目，实验室应与客户及被测试软件相关方保持必要沟通。沟通内容可包括：1）合同、客户要求变更及其落实情况；2）计划进展情况，延误或其他主要偏离及其原因；3）已发现的软件问题；4）遇到的测试问题；5）需要沟通的其他问题。7.1.8对常规软件测试（如某行业已有明确要求的例行软件测试）项目，测试合CNAS-CL01-A019:2018第6页共8页2018年03月01日发布2018年03月01日实施同可以是任何书面的协议。实验室应对软件测试协议及时形成详细的文字记录，并有审核确认7.2方法的选择、验证和确认7.2.1方法选择和验证7.2.1.3实验室所采用的软件测试方法，一般包括测试用例集、测试工具（硬件和软件）及其使用方法、以及依托测试工具运行测试用例获得测试结果的相关程序三要素。为了保证不影响软件测试方法的运用和测试结果，实验室应具有适当的软件测试方法使用指导书，有措施确保测试用例、测试脚本、测试数据和测试工具的一致、有效。7.2.1.5实验室应制定测试计划、测试需求和测试用例及其执行方案，通过文档化方式明确选定的测试方法。实验室应通过培训、技术咨询或技术指导方式确保能够正确运用选择的测试方法。7.2.2方法确认7.2.2.1实验室应组织本领域专家对非标方法进行技术评审。注：技术评审可包含但不限于以下内容：a)被测试软件类型的描述应包括名称、版本信息、开发语言等；b)能够测试的软件质量特性或测试类别、测试目的和测试能力范围；c)陪测设备设施软件及其性能要求；d)方法应有需要的软件硬件环境、测试数据及其他约束条件。7.2.2.3软件测试方法确认应尽可能全面，包括对被测试软件的各种质量子特性的测试顺序、测试约束及测试输入的组合并进行测试方法的验证。7.4检测或校准物品的处置7.4.1实验室应向客户提供充分的保证，确保测试工具或测试集不会将病毒或其他损坏因素引入到属于客户的硬件或软件中。测试完成后，实验室应按客户要求处置被测试软件，并保留记录。7.4.2实验室在接收被测软件时应详细记录被测试软件的程序、软件工程文档、数据及版本号，并进行唯一性标识。7.4.3在接收测试样品时，应对样品进行病毒检查并记录。7.5技术记录7.5.1实验室应保存外部提供测试服务的技术文档、测试记