搜索
ICS35.020L07CATAGS中国航空运输协会团体标准T/CATAGS45—2022民用航空重要信息系统可靠性评估规范Specificationforreliabilityassessmentofimportantinformationsystemsofcivilaviation2022-02-25发布2022-02-25实施中国航空运输协会发布T/CATAGS45—2022I目次前言..................................................................................II1范围.................................................................................12规范性引用文件.......................................................................13术语和定义...........................................................................14基本要求.............................................................................25系统可靠性评估流程...................................................................36可靠性模型的评价准则及局限性分析.....................................................5T/CATAGS45—2022II前言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本标准由中国航空运输协会提出并归口。本标准起草单位：中国民航信息网络股份有限公司、中国民航大学。本文件主要起草人：周祥伟、高思华、陈平、惠康华、孙皓、孟祥、张海洋。T/CATAGS45—20221民用航空重要信息系统可靠性评估规范1范围本文件规定了民用航空重要信息系统可靠性评估的基本要求及评估规程。本文件适用于民用航空重要信息系统开发过程中的可靠性测试、以及运行和维护阶段进行的可靠性评估。注：本文件所指的信息系统主要是软件系统。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T5271.14-2008信息技术词汇第14部分：可靠性、可维护性与可用性GJB/Z161-2012军用软件可靠性评估指南3术语和定义GB/T5271.14-2008和GJB/Z161-2012界定的以及下列术语和定义适用于本文件。3.1重要信息系统importantinformationsystem受到破坏后，会对社会秩序和公共利益造成严重损害，或者对国家安全造成损害的信息系统。[来源：MH/T0026-2005，2.1]3.2系统可靠性systemreliability信息系统在规定的条件下和规定的时间内完成规定功能的能力。3.3可靠性模型reliabilitymodel评估系统可靠性所使用的模型。把系统失效过程的一般形式详细表示为故障引入、故障排除和运行环境等因素的函数表达式。3.4系统可靠性评估systemreliabilityassessment确定现有系统可靠性所达到的水平的过程。基于测试和运行维护期间观察和收集到的失效数据对未来系统可靠性进行预测。3.5缺陷defect在计算机程序中不正确的步骤、过程或数据定义。3.6失效failure系统不能按规定的性能要求执行它所要求的功能，即系统的运行结果与要求不一致。即代码中可能引起一个或多个失效的缺陷。3.7故障fault系统或软件子系统不能或将不能完成预定功能的事件或状态，即代码中可能引起一个或多个失效的缺陷。T/CATAGS45—202223.8失效强度failureintensity软件失效数均值随测试时间的变化率。3.9失效模式failuremode系统失效的不同类型，通常用于描述系统失效发生的方式。3.10失效严重性failureseverity每一个已识别的系统失效模式的影响等级。3.11失效间隔时间timebetweenfailure两个已识别的相近发生系统失效之间的时长。4基本要求系统可靠性评估的目的4.1系统可靠性评估的目的是：a)确定系统测试阶段当前的可靠性水平以判断是否满足规定的可靠性要求；b)预计为了满足规定的可靠性要求所需要的额外测试开销；c)确定系统上线时的可靠性水平；d)确定系统运行阶段的当前可靠性水平；e)预计系统运行阶段未来一段时间的可靠性水平。系统可靠性评估的阶段4.2系统可靠性评估的阶段是：a)测试阶段的可靠性评估。通过可靠性测试（即按照系统的实际使用方式测试系统的一种方法），收集测试过程中的失效数据，对系统的可靠性水平进行估计，并能够对未来可能达到的可靠性水平进行预计；b)系统投入使用阶段的可靠性评估。通过收集实际使用过程中系统的失效数据，可以对系统可靠性进行估计，也可对未来系统可能达到的可靠性水平进行预计。系统可靠性评估的数据要求4.3系统可靠性数据主要包括失效时间数据（失效发生的具体时间）和失效计数数据（一段时间内失效发生的个数）等。系统可靠性评估的数据要求如下：a)系统可靠性评估的数据应在系统测试或实际使用过程中进行收集；b)测试阶段的系统可靠性评估数据应在与系统实际运行一致的环境下收集。如要预计高负载、多种业务请求高并发、多数据交互下的可靠性，收集的数据就要来源于这样一个复杂运行环境下的系统测试过程；c)收集的数据应完整准确：收集的系统可靠性评估数据应该完整准确，基本要求如下：——失效数据首选失效时间数据，应在事件发生时被准确地记录；——通常模型使用的失效时间是执行时间，如果不能直接测量执行时间，可以采用一些近似技术；——由相同的缺陷导致的软件失效在不同时间段建议多次统计，用于体现失效严重性；——当失效时间从多个同时运行的机器收集时，失效间隔时间应考虑同时运行的所有机器；——如果机器具有不同的平均指令执行速率，可以用平均执行速率的平均值来调整执行时间；——回归测试收集的失效数据不计入在内；——既要计入信息完全填写的失效报告数据，也要计入信息不完整的失效报告数据。T/CATAGS45—202235系统可靠性评估流程系统可靠性评估流程的建立5.1系统可靠性的评估应该建立相应流程，如图1所示：图1系统可靠性评估流程系统可靠性评估具体流程5.25.2.1系统失效定义开始系统失效定义系统运行环境特性描述系统测试运行系统可靠性数据收集失效数据趋势分析可靠性模型选择模型确认可靠性估计和预计编制可靠性评估报告结束T/CATAGS45—20224在收集数据前，应给出待评估系统中失效的特定定义。该定义通常由开发人员、测试人员和用户等共同确定，并达成一致。5.2.2系统运行环境特性描述运行环境特性描述主要包括：a)系统配置：包括软件和硬件的配置；b)系统操作剖面：系统可以具有多个操作剖面或操作模式，操作模式与操作时间、安装位置及用户有关，应对显著不同的操作模式单独进行可靠性评估；c)系统演变：应考虑系统随着测试而常常发生演变，如改变一些代码、增加新的代码甚至新的组件。5.2.3系统测试运行在实际运行环境中或接近实际运行环境的仿真测试环境中运行系统。在测试阶段，应按照系统的实际使用情况进行测试，所使用的环境应保持尽可能的平稳，并应尽可能在苛刻条件下通过延长时间进行测试。对于高负载、多种业务请求高并发、多数据交互的行业重要信息系统，测试时也应该选取与系统实际运行情况相一致的环境，并应该尽可能的在测试中延长系统高负荷运行的时间，以获取更真实有效的数据，测试场景应包含可识别的异常场景。5.2.4系统可靠性数据收集为确定系统可靠性是否满足目标要求，应：a)明确定义数据收集的目的；b)充分收集适合于可靠性评估的数据；c)评估数据的有效性。5.2.5失效数据趋势分析应对失效数据进行趋势分析，分析结果分为如下类型：a)可靠性增长：宜使用系统可靠性增长模型；b)可靠性下降：对这种不正常的现象进行原因分析，不用进行可靠性估计；c)可靠性先降后升：宜使用具有S型增长趋势的系统可靠性模型；d)可靠性稳定：在发生故障不予纠正的情况下，失效率为常值，宜使用指数模型。5.2.6可靠性模型选择在对系统进行可靠性评估时，需先根据趋势分析结果选择一个或多个可靠性模型。在选择可靠性模型时，应考虑模型是否适用于系统实际条件。5.2.7模型确认应对所选择的模型进行有效性确认，确认模型的基本要求如下：a)在模型检查时，应分析模型假设是否适合；b)选择用于模型确认的适当的失效数据集。失效数据集宜按照如下优先级进行选取：——该系统的已有失效数据集（如果该系统测试运行时间足够长，且产生了足够多的失效数据）；——该系统的快速原型项目中积累的失效数据集；——该系统的先前版本中积累的失效数据集；c)模型参数估计。选择参数估计方法，并对所选择的可靠性模型中的相关参数进行估计。常用的参数估计方法有矩估计、最小二乘法和极大似然估计等；d)确定模型后，分析人员应在不同阶段执行该模型，并用后续失效数据对模型进行验证以确定模型的预计有效性。为保证拟合效果满意，在选择模型和应用所选模型之后，应不断地对模型进行重新检查。如果模型的拟合效果不好，就应选用候选模型，重新应用上述步骤进行检查确认。T/CATAGS45—202255.2.8可靠性估计和预计5.2.8.1估计当前可靠性通过可靠性建模可以得到当前的可靠性水平。在测试和运行阶段，可靠性评估规程基本相同，主要区别是在测试阶段，系统故障在相应的系统失效检测出来之后应予以排除，因此能观察到可靠性增长，失效强度随时间降低；在运行阶段，纠正一个系统故障可能需要大量变更，除非该失效是灾难性的，一般到下一个系统版本发布之前不予纠正，因此失效强度可能并不降低。5.2.8.2预计达到可靠性目标所需的测试时间通过可靠性建模可以得出达到给定可靠性目标所需的测试时间。当可靠性目标接近时，应通过实际数据检查模型预计的符合情况，并在必要时对模型进行修正。如果初始失效强度和目标失效强度以及模型参数已知，就可预计需要增加的测试持续时间。5.2.9编制可靠性评估报告5.2.9.1可靠性评估方应在评估过程完成后10个自然日内，根据评估流程和评估结果编制可靠性评估报告。评估报告中应包括对失效定义、测试运行环境、失效数据的有效性、选择的可靠性模型、模型预计的有效性、可靠性评估结果等的说明。5.2.9.2失效数据应从与系统使用方式相同的测试中收集得到，收集数据的环境应与系统实际运行的环境一致；收集的数据应准确；每次评估时都对模型的预计有效性进行确认。5.2.9.3可靠性评估结果可包括系统当前的可靠度、系统当前的失效率、平均失效前时间、系统未来一段时间的可靠度、预计为达到规定的可靠性要求还要进行的测试执行时间等。6可靠性模型的评价准则及局限性分析可靠性模型评价准则6.1在完成可靠性评估并运行一段时间后应根据系统运行情况对可靠性模型进行评价，并分析其局限性，判断在后期再次评估时是否调整模型。对系统可靠性模型进行评价，可采用以下准则：a)历史预计的有效性：模型在追溯性预计数据和过去实际观测数据的比较；b)假设的质量：模型的假设与实际情况的接近程度；c)通用性：模型在多种运行环境，如实时、网络应用中进行准确预计的能力；d)噪声不敏感性：在输入数据和参数估计中存在误差时，模型给出准确结果的能力。可靠性模型局限性分析6.2基于评价准则，可靠性模型的局限性主要体现在：a)系统