搜索
书书书犐犆犛３５．０８０犔７７中华人民共和国国家标准犌犅／犜３８６３９—２０２０系统与软件工程 软件组合测试方法犛狔狊狋犲犿狊犪狀犱狊狅犳狋狑犪狉犲犲狀犵犻狀犲犲狉犻狀犵—犛狅犳狋狑犪狉犲犮狅犿犫犻狀犪狋狅狉犻犪犾狋犲狊狋犻狀犵犿犲狋犺狅犱２０２００４２８发布２０２０１１０１实施国家市场监督管理总局国家标准化管理委员会发布目 次前言Ⅰ…………………………………………………………………………………………………………１ 范围１………………………………………………………………………………………………………２ 术语和定义１………………………………………………………………………………………………３ 输入预处理２………………………………………………………………………………………………４ 组合强度３…………………………………………………………………………………………………５ 组合测试的约束条件和种子５……………………………………………………………………………６ 组合测试过程要求６………………………………………………………………………………………７ 组合测试输入输出表示６…………………………………………………………………………………附录Ａ（资料性附录） 软件完整性级别与组合强度要求参考９…………………………………………附录Ｂ（资料性附录） 组合测试方法示例１０………………………………………………………………附录Ｃ（规范性附录） 组合测试输入输出ＸＭＬＳｃｈｅｍａ３０……………………………………………参考文献３４……………………………………………………………………………………………………犌犅／犜３８６３９—２０２０前 言 本标准按照ＧＢ／Ｔ１．１—２００９给出的规则起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本标准由全国信息技术标准化技术委员会（ＳＡＣ／ＴＣ２８）提出并归口。本标准起草单位：上海计算机软件技术开发中心、中国电子技术标准化研究院、国家应用软件产品质量监督检验中心、西宁市大数据服务管理局、广东省科技基础条件平台中心、深圳赛西信息技术有限公司、中国电子科技集团公司第五十四研究所、中国电子科技集团公司第十研究所、中国航天系统科学与工程研究院、厦门理工学院、山东道普测评技术有限公司、浙江省电子信息产品检验所、北京跟踪与通信技术研究所、南京邮电大学、中国科学院软件研究所、北方民族大学、内蒙古自治区电子信息产品质量检验院、上海第二工业大学。本标准主要起草人：蔡立志、李文鹏、龚家瑜、张、胡芸、李军、康京山、吴克寿、王威、赵毅、吕雪、严俊、王子元、刘文红、沈颖、白万芳、孙凤丽、孙纪敏、杨隽、王凤玲、赵昌平、李晓伟、薛宝军、王磊、何永辉、韩强、黄秋霞、亓兵、李丽萍、李艳。Ⅰ犌犅／犜３８６３９—２０２０系统与软件工程 软件组合测试方法１ 范围本标准给出了软件组合测试输入预处理方法和组合强度设定，规定了组合测试约束条件和种子、组合测试过程要求以及组合测试输入输出表示方法。本标准适用于软件组合测试的用例设计和充分性评估。２ 术语和定义下列术语和定义适用于本文件。２．１ 组合测试方法 犮狅犿犫犻狀犪狋狅狉犻犪犾狋犲狊狋犻狀犵犿犲狋犺狅犱基于多参数组合进行软件测试的一种方法。注：在组合测试中，被测试应用被抽象为一个黑盒，它有多个输入参数，其行为受输入参数之间的组合测试影响。２．２ 组合强度 犮狅犿犫犻狀犪狋狅狉犻犪犾狊狋狉犲狀犵狋犺用于表示测试参数取值组合的复杂度。２．３ 参数 狆犪狉犪犿犲狋犲狉测试目标相关的输入参数、配置参数或环境参数。注１：参数类型包括整型、浮点型、布尔型和字符串型。注２：待测软件的参数可以是函数的输入参数、命令行参数、表单输入框、配置文件中的配置项。２．４ 取值范围 犱狅犿犪犻狀参数取值的范围或集合。２．５ 变强度 狏犪狉犻犪犫犾犲狊狋狉犲狀犵狋犺对不同的参数子集给出不同组合强度的要求。注：组合测试中组合强度的一种特殊要求。通常是在默认组合强度的基础上，待测软件的某几个参数子集采用不同于默认值的组合强度。示例：一个系统具有ａ、ｂ、ｃ、ｄ、ｅ五个参数，默认组合强度为２，其中ａ、ｂ、ｃ三个参数由于特殊要求需要设置３强度组合，则该系统的测试用例需同时满足ａ、ｂ、ｃ、ｄ、ｅ五个参数的２强度组合，以及ａ、ｂ、ｃ三个参数的３强度组合。２．６ 测试用例套 狋犲狊狋狊狌犻狋犲针对特定测试目标的测试用例集合。２．７ 种子 狊犲犲犱组合测试中由用户定义应被测试的取值组合。１犌犅／犜３８６３９—２０２０３ 输入预处理组合测试的条件是待测软件参数的取值范围是可离散的。在应用组合测试之前，应对待测软件的输入进行预处理。其主要包括如下几个步骤：ａ） 根据当前测试的目标，识别出影响待测软件行为的参数。ｂ） 依据步骤ａ）中得出的参数，识别该参数取值范围的有限个离散取值。若该参数的取值范围是连续的（如实数类型），或者取值过多，则需要采用等价类划分或边界值的方法选取少量的离散取值。示例１：某航空公司对１２～２５岁和５５～７０岁的乘客实行机票优惠政策。在该航空公司订票系统中，当乘客年龄符合优惠政策时，将自动计算出优惠票价。乘客年龄的参数取值虽然是离散值，但取值过多，需采用等价、边界值进行划分。表１给出了依据年龄段分类的离散化示例。表１ 依据年龄段的分类离散化序号输入（乘客年龄）期望输出１１１不优惠２１２优惠３２５优惠４２６不优惠５５４不优惠６５５优惠７７０优惠８７１不优惠 示例２：某软件新建用户功能中设置密码要求密码长度不少于８位，密码应至少包含数字和字母，如密码不符合要求，系统则拒绝接受此类密码。由于密码可能的取值过多，因此需采用等价类的方式对输入域进行划分。表２给出了密码参数的离散化示例。表２ 密码参数的离散化示例序号输入（密码）期望输出１１２３ａｂｃ不接受２１２３４５６７８不接受３１２３４ａｂｃｄ接受４ａｂｃｄｅｆｇｈ不接受 ｃ） 依据步骤ａ）中得出的参数，识别出参数间的约束。ｄ） 分析各参数间交互作用的强度，设定用于测试的组合强度。ｅ） 依据待测软件的需求确定是否有约束条件以及种子。约束条件和种子的选取应按第５章的要求执行。２犌犅／犜３８６３９—２０２０４ 组合强度４．１ 单一选择待测软件中所有参数取值范围的任意可能取值至少被测试用例套中的一个测试用例覆盖。示例：一个系统有三个参数犘＝｛ｐ１，ｐ２，ｐ３｝，其中ｐ１的取值范围犞１＝｛ａ，ｂ｝，ｐ２的取值范围犞２＝｛１，２，３｝，ｐ３的取值范围犞３＝｛ｘ，ｙ｝。表３给出了一组满足单一选择覆盖的测试用例套。表３ 单一选择准则测试用例套示例参数ｐ１ｐ２ｐ３测试用例ａ１ｘｂ２ｙａ３ｘ４．２ 基本选择待测软件的测试用例套中，对于任意一个参数的两个取值，存在两个测试用例覆盖这两个取值，并且其他参数的取值相同。示例：一个系统有三个参数犘＝｛ｐ１，ｐ２，ｐ３｝，其中ｐ１的取值范围犞１＝｛ａ，ｂ｝，ｐ２的取值范围犞２＝｛１，２，３｝，ｐ３的取值范围犞３＝｛ｘ，ｙ｝。表４给出了一组满足基本选择覆盖的测试用例套。表４ 基本选择准则测试用例套示例参数ｐ１ｐ２ｐ３测试用例ａ１ｘｂ１ｘｂ２ｘｂ３ｘｂ３ｙ４．３ 成对组合待测软件中任意两个参数，它们取值范围的任意一对有效取值至少被一个测试用例所覆盖。在组合测试中关键参数应至少满足成对组合覆盖。示例：一个系统有三个参数犘＝｛ｐ１，ｐ２，ｐ３｝，其中ｐ１的取值范围犞１＝｛ａ，ｂ｝，ｐ２的取值范围犞２＝｛１，２，３｝，ｐ３的取值范围犞３＝｛ｘ，ｙ｝。其测试覆盖项见表５。３犌犅／犜３８６３９—２０２０表５ 成对测试准则覆盖项示例序号参数值１参数值２１ｐ１＝ａｐ２＝１２ｐ１＝ａｐ２＝２３ｐ１＝ａｐ２＝３４ｐ１＝ｂｐ２＝１５ｐ１＝ｂｐ２＝２６ｐ１＝ｂｐ２＝３７ｐ２＝１ｐ３＝ｘ８ｐ２＝１ｐ３＝ｙ９ｐ２＝２ｐ３＝ｘ１０ｐ２＝２ｐ３＝ｙ１１ｐ２＝３ｐ３＝ｘ１２ｐ２＝３ｐ３＝ｙ１３ｐ１＝ａｐ３＝ｘ１４ｐ１＝ａｐ３＝ｙ１５ｐ１＝ｂｐ３＝ｘ１６ｐ１＝ｂｐ３＝ｙ 表６给出了一组满足成对组合覆盖的测试用例套。表６ 成对测试准则测试用例套示例参数ｐ１ｐ２ｐ３测试用例ａ１ｘａ２ｘａ３ｘｂ１ｙｂ２ｙｂ３ｙａ１ｙｂ２ｘ４．４ 全组合待测软件中所有参数取值范围的任意有效取值的组合至少被一个测试用例所覆盖。示例：一个系统有三个参数犘＝｛ｐ１，ｐ２，ｐ３｝，其中ｐ１的取值范围犞１＝｛ａ，ｂ｝，ｐ２的取值范围犞２＝｛１，２，３｝，ｐ３的取值范围犞３＝｛ｘ，ｙ｝。表７给出了满足全组合覆盖的测试用例套。４犌犅／犜３８６３９—２０２０表７ 全组合准则测试用例套示例参数ｐ１ｐ２ｐ３测试用例ａ１ｘａ１ｙａ２ｘａ２ｙａ３ｘａ３ｙｂ１ｘｂ１ｙｂ２ｘｂ２ｙｂ３ｘｂ３ｙ４．５ 犓强度组合在组合强度要求为犓的组合中（简称为犓强度），任意犓个参数取值范围的任意有效值的组合至少被一个测试覆盖项所覆盖。当犓＝２时，犓强度组合等同于成对组合；当犓等于所有参数数量时，犓强度组合等同于全组合。示例：一个系统具有ａ，ｂ，ｃ，ｄ四个参数，取值范围分别为０，１，当犓＝２时，表８所给出的一组组合的覆盖率计算如下：２强度的组合有ａｂ，ａｃ，ａｄ，ｂｃ，ｂｄ，ｃｄ六种，每两个参数间都有四个二值组合，因此共有２４个组合需要覆盖。而在所示的测试用例套中，仅有１９个２强度组合被覆盖，因此该测试用例套的２强度组合覆盖率为１９／２４＝７９．２％。表８ ２强度组合测试用例套示例参数ａｂｃｄ测试用例０００００１１０１００１０１１１５ 组合测试的约束条件和种子５．１ 约束条件组合测试方法应能提供默认组合强度和任意参数集合上的变强度的表示。组合测试的约束条件分为条件约束和无条件约束：ａ） 条件约束：条件约束应包含约束条件和约束表达式。当约束条件满足时，则按照约束表达式进５犌犅／犜３８６３９—２０２０行约束，否则不进行约束。ｂ） 无条件约束：无条件约束不需要约束条件。任何测试用例均应满足约束表达式。约束条件和约束表达式应支持关系运算符及逻辑运算符。关系运算符可包含但不限于等于（＝＝）、不等于（！＝）、大于（＞）、大于或等于（≥）、小于（＜）和小于或等于（≤）等。逻辑运算符可包含但不限于逻辑蕴含（→）、逻辑与（∧）、逻辑或（∨）、逻辑非（┐）和逻辑异或（!）等。５．２ 种子组合测试方法应能支持指定参数值测试用例的种子。种子的参数、值及其约束关系应该和模型文件中参数一致。如果不一致，应根据如下原则处理种子：ａ） 忽略种子中包含了模型文件中不存在的参数；ｂ） 忽略种子中在模型文件中不存在的参数值；ｃ） 忽略种子中违反了在模型文件中定义的约束条件。６ 组合测试过程要求组合测试的测试过程如下：ａ） 确定测试范围：确定所需测试的软件功能及参数。ｂ） 导出测试条件：针对每个参数确定其取值范围，对于连续变量参数取值范围的确定可按照第４章的方法进行输入预处理。ｃ） 导出测试覆盖项：采用组合测试的方法，根据组合定义的组合强度，生成测试覆盖项。在组合测试中，测试覆盖项应包含测试项参数与组合强度相符的“参数值”对。ｄ） 导出测试用例：依据测试覆盖项生成测试用例，直到每个测试覆盖项都包含在至少一个测试用例中。ｅ） 分配测试用例套：当测试用例数量过多时，可将依据某个关键参数的取值不同，将测试用例分配不同的测试用例套。ｆ） 执行测试：将测试用例套交由测试人员执行。ｇ） 充分性评估：计算强度组合的覆盖率，可参考附录Ａ给出完全符合或部分符合的结论，分析未达到要求的原因。附录Ｂ给出了组合测试用例生成的完整示例。７ 组合测试输入输出表示７．１ 一般要求组合测试输入应包含组合强度和各参数的定义，宜包含指定参数的变强度定义、种子定义和约束条件。常见的输入输出格式包括ＸＭＬ格式和ＪＳＯＮ格式。ＸＭＬ格式适用于解析速率要求较高和可靠性要求高的测试环境；ＪＳＯＮ格式适用于需要远程传输测试数据且对传输效率要求较高的测试环境。组合测试的输入输出格式文件见附录Ｃ。６犌犅／犜３８６３９—２０２０７．２ 输入格式７．２．１ 犡犕犔输入格式如采用ＸＭＬ作为输入格式，宜包含的