洪水预报软件测评方案()

附件1洪水预报软件测评方案（征求意见稿）一、总则1、测评目的为进一步服务洪水预报系统建设，促进水利科技推广管理工作，水利部科技推广中心、水利部防洪抗旱减灾工程技术研究中心、中国水利学会减灾专业委员会联合组织开展洪水预报软件的测评工作。2、参评单位国内已经获得洪水预报软件著作权的单位单独或联名参加。报送的洪水预报软件，必须为报送单位自主研发或联合研发，代理销售的不具备报名资格。3、测评方式测评含软件测试和专家评审两部分。（1）软件测试。由具有中国合格评定国家认可委员会（CNAS）资质的国家级软件检测机构对各参评产品进行软件测试。（2）专家评审。参评单位对参评产品进行应用功能演示，由专家组现场评审。4、评分办法软件测评结果以分值表示，100分为满分，其中软件测试部分占70%，专家评审部分占30%。总分≥85分的为“优良”产品；85分＞总分≥60分的为“合格”产品；总分≤60分为“需改进”产品。二、软件测试大纲1、测试依据GB/T25000.51-2010《软件工程软件产品质量要求与评价（SQuaRE）商业现货（COTS）软件产品的质量要求和测试细则》；SL323-2011《实时雨水情数据库表结构及标识符标准》；GB/T22482-2008《水文情报预报规范》。2、测试准备（1）测试环境软件测试地点设在检测机构，检测机构按照《软件工程软件产品质量要求与评价（SQuaRE）商业现货（COTS）软件产品的质量要求和测试细则》中的设备配置，统一准备测试环境，参评单位负责在统一的测试环境上安置应用软件。参评单位应在规定的时间进行系统安置工作（时间最长为一个工作日），并签署相关测试委托书。（2）测试文档在系统测试开始前，参评单位向检测机构提供用户手册或操作手册等系统相关文档。3、软件功能测试（1）系统建模1）模型/方法库管理多种产汇流、模型/方法，各模型/方法可任意组合模型/方法构件封装，仅通过数据接口机制实现信息交换各模型/方法对同一输入、输出要素具有相同格局的数据接口定义对模型/方法可进行添加、修改、删除、导入导出、运行等维护操作2）预报方案构建方案定义流域圈画确定方案模型雨量站控制权重3）参数率定/检验历史数据处理参数优选率定资料选取预报方案维护（2）作业预报实时雨水情查询数值降雨预报单河段（流域）预报、河系连续预报、水库洪水预报实时洪水校正预报误差统计洪水预报精度评定预报成果优选预报方案自动运行、校正、成果发布预报成果管理4、测试数据说明为了体现公平原则，统一测试标准，由测评组织单位统一提供洪水预报基础数据。5、软件系统缺陷严重程度等级缺陷严重程度等级的设定如下：S1级：发现影响被测系统正确运行的严重问题——导致系统崩溃——出现不可挽救的数据丢失或损坏——主业务流程出现断点——导致死机——内存泄漏S2级：发现影响被测模块正确运行的严重问题——导致程序模块丢失或未实现——软件错误导致数据丢失——被测数据处理错误——需求未实现S3级：发现影响被测功能正确实现的问题S4级：一般性的错误或功能实现有不完善处S5级：建议性问题6、预报精度等级参见GB/T22482-2008《水文情报预报规范》，以作业预报精度等级进行评价，即用预报误差与许可误差之比的百分数作为分级指标，分级指标≤25.0的为优秀；25.0分级指标≤50.0的为良好；50.0﹤分级指标≤100.0的为合格；分级指标﹥100.0的为不合格。7、测试结果判定标准检测机构对测试过程中发现的问题进行分析汇总，向参评单位出具《系统测试问题确认单》，并且双方签字确认。在系统测试中，检测机构依据已确认的《系统测试问题确认单》，对每一项测试内容给出其检测结果。检测结果分为“通过”、“基本通过”、“不通过”和“功能缺失”。（1）通过在测试过程中，针对某测试过程的测试用例执行后，结果与预期的一致，未发现S5级以外的缺陷，该测试过程的检测结果可判定为“通过”。（2）不通过在测试过程中，针对某测试过程的测试用例执行后，发生S1级或S2级缺陷，该测试过程判定为“不通过”。（3）基本通过在测试过程中，结果属上述“通过”、“不通过”以外的情况，该测试过程判定为“基本通过”。（4）功能缺失因系统原因而无法提供测试的功能点，在测试结果中注明“功能缺失”。8、测试内容及评分标准本次测试的内容包括系统的功能性、可靠性、易操作性和效率4个方面，以及自选演示项目，其评分安排如下：序号测试内容评分安排1功能性测试602精度评定103可靠性测试154效率测试105易操作性测试5合计100自选演示项目不计分，但可作为专家现场评审的参考依据。（1）功能性编号测试内容技术要求1系统建模（30分）模型/方法管理（4分）复用性（1分）包含多种产汇流、模型/方法，各模型/方法可任意组合独立性（1分）模型/方法构件封装，仅通过数据接口机制实现信息交换统一性（1分）各模型/方法对同一输入、输出要素具有相同格局的数据接口定义扩充性（1分）对模型/方法可进行添加、修改、删除、导入导出、运行等维护操作预报方案构建（10分）方案定义（4分）确定预报站码、计算时段长、预见期、预热期、方案输出类型、预报告警阈值、方案说明、水位流量关系曲线、库容曲线、方案输入个数和类型、上游根据站点、站点流量合成关系、预报方案结构框图等流域圈画（2分）流域自动/人工边界圈画确定方案模型（2分）添加、删除、变更模型/方法、模型参数、模型状态等雨量站控制权重（2分）利用泰森多边形、算术平均或其他方法，计算区域内雨量站的控制权重参数率定（16分）历史数据处理（5分）录入、转存、检查、修改用于模型参数率定的历史水文气象资料，包括洪水摘录资料、洪水日资料、降雨摘录资料和降雨日资料，任意数据时序或过程线校验，历史洪水对比分析参数率定/检验（5分）录入、修改、存储参数，设定参数范围或参数值，设定率定/检验期，选择目标函数，设定统计阈值，参数经验及合理性分析等参数优选（2分）选择优化方法，设定循环次数，自动/人工优选参数率定资料选取（2分）历史、实时数据任意时间内或场次洪水选取、检查、修改、展示预报方案维护（2分）检索、查询、更新、删除、分配、压缩、导入导出预报方案等功能2作业预报（30分）实时雨水情查询（10分）雨情查询（5分）各站降雨过程柱状图及数据表查询、降雨量小时数据、日数据、旬月数据的差值；区域降雨过程柱状图及数据表查询、区域降雨等值线/面图绘制/填色、清除、打印等水情查询（5分）各站实时水情数据过程线及数据表查询，警戒（汛限）、保证等特征值查询，水情数据小时数据、日数据、旬月数据的差值，超警戒（汛限）、保证水位等特征值告警实时预报（15分）数值降雨预报（3分）能对未来3天以上降雨进行数值预报或能接入数值降雨预报数据实时洪水预报（5分）单河段（流域）预报、河系连续预报、水库洪水预报实时洪水校正（2分）对洪水过程、单点数据进行自动/人工实时校正预报误差统计（2分）任意时间内或场次洪水的绝对误差，相对误差，确定性系数统计洪水预报精度评定（3分）任意时间内或场次洪水的洪峰流量/水位、洪峰出现时间、洪量（径流量）、洪水过程合格率、确定性系数统计成果发布（4分）预报成果优选（1分）多模型/方法计算结果误差分析预报成果发布（1分）预报成果人工/自动发布预报方案自动运行（2分）预报方案自动运行、校正成果管理（1分）预报信息报表（1分）自动生成预报信息报表（2）精度评定序号精度等级得分范围1优秀9-102良好7-83合格5-64不合格0-4(3)可靠性编号评测内容技术要求评分标准1成熟性（10分）系统应能够不间断的稳定运行。A.在测试过程中，系统运行情况良好，可以很好地完成所述功能，基本没有出错（9～10）B.在测试过程中，系统运行情况基本正常，可以完成所述功能，发生一般性错误（5～8）C.在测试过程中，系统运行情况不正常，难以完成所述功能，发生严重性错误（1～4）D.在测试过程中，系统发生致命性错误，无法继续运行（0）2易恢复性（5分）软件系统应具备自动或手动恢复措施，以便在发生错误时能够快速地恢复正常运行。A.运行中出错后不需人工干预即可恢复（5）B.运行中出错后需人工干预才可恢复（4）C.运行中出错后只能关闭重启应用系统才可恢复正常（2～3）D.运行中出错后只能关闭计算机才可恢复正常（1）备注：如果在成熟性测试中未出现错误，检测机构将模拟异常情况，例如强行断电等进行测试。（4）效率编号评测内容技术要求评分标准1时间特性（5分）对软件系统的各类人机交互操作、信息查询、图形操作等应实时响应。A.在测试过程中，响应时间在合理范围之内（5）B.在测试过程中，响应时间超出合理范围，但是可接受（1～4）C.在测试过程中，响应时间超出合理范围，不可接受（0）2资源特性（5分）对软件系统的各类操作，服务器的资源利用合理。A.在测试过程中，资源利用合理（5）B.在测试过程中，资源利用基本合理（1～4）C.在测试过程中，资源利用明显不合理，如有内存泄漏等现象（0）测试说明（一）测试点1、GIS操作：放大操作到某个地区或流域；平移操作。2、模型计算耗时。（5）易操作性编号评测内容技术要求评分标准1易操作性（5分）应具有良好的简体中文操作界面、详细的帮助信息，系统参数的维护与管理通过操作界面完成。A.操作简单，容易理解，完全符合软件信息表所述内容，很好地反映了其所在领域的特性（4～5）B.比较容易操作，需花费一定的时间理解，基本符合软件信息表所述内容，基本地反映了其所在领域的特性（2～3）C.操作复杂，难以理解，没有很好地反映了其所在领域的特性（0～1）三、专家评审大纲1、评审准备参评单位自行准备软硬件及网络环境，以及相应的软件产品和测试数据。2、评审内容及技术要求专家评审的内容包括系统的主要功能及自选演示项目的实用性、易用性、时效性、美观性、先进性等方面进行评价，评审内容和其要求如下：编号演示/测评内容1总体结构（10分）采用的软件结构（2分）采用的开发架构（2分）功能结构的合理性（6分）2系统建模（30分）模型/方法管理，包含多种产汇流、模型/方法，各模型/方法可任意组合，模型封装合理，组合方便。（5分）预报方案构建：方案定义（3分）流域圈画（2分）确定方案模型（2分）添加、删除、变更模型/方法、模型参数、模型状态等雨量站控制权重（2分）利用泰森多边形、算术平均或其他方法，计算区域内雨量站的控制权重参数率定：历史数据处理（5分）参数率定/检验（5分）参数优选（2分）率定资料选取（2分）预报方案维护（2分）3作业预报（25分）实时雨水情查询雨情查询（3分）水情查询（3分）实时预报：数值降雨预报（2分）实时洪水预报（5分）单河段（流域）预报、河系连续预报、水库预报实时洪水校正（2分）对洪水过程、单点数据进行自动/人工实时校正预报误差统计（2分）任意时间内或场次洪水的绝对误差，相对误差，确定性系数统计洪水预报精度评定（2分）成果发布：（3分）成果管理（3分）4系统管理（5分）用户管理（3分）对用户及其功能权限管理日志管理（2分）模型计算错误时日志记录5GIS功能（10分）通用GIS功能（5分）等值线、在线编辑地图等功能（5分）6自选演示项目（20分）演示参评产品的特色功能（20分）评分标准专家将从实用性、易用性、时效性、美观性、先进性等方面，对各项演示内容进行评价。