互联网药品交易服务系统软件测评大纲二

互联网药品交易服务系统软件测评大纲二国家食品药品监督管理局二〇〇六年二月11总则本测评大纲由国家食品药品监督管理局会同中国软件测评中心、国家应用软件产品质量监督检验中心共同制定，国家食品药品监督管理局对本大纲具有最终解释权。2适用范围本测评大纲适用于“药品生产企业、药品批发企业通过自身网站与本企业成员之外的其他企业进行的互联网药品交易以及向个人消费者提供的互联网药品交易服务”的交易平台软件测评。本大纲是为加强药品监督管理，规范互联网药品交易服务，针对互联网药品交易服务系统软件的基本功能及国家相关软件质量要求制定，目的是为判定系统是否符合《互联网药品交易服务机构验收标准》中规定的相关指标提供客观依据，并供参测企业及药品监督管理部门参考。3测评机构资质要求参与“药品生产企业、药品批发企业通过自身网站与本企业成员之外的其他企业进行的互联网药品交易以及向个人消费者提供的互联网药品交易服务”平台软件测评的机构，要求至少获得中国实验室国家认可委员会认可，认可的检测能力范围应至少包括对软件产品功能性、可靠性及效率的测评。4测评依据GB2312-1980信息交换用汉字编码字符集基本集GB13000.1-1993信息技术通用多八位编码字符集（UCS）第一部分：体系结构与基本多文种平面GB18030-2000信息技术信息交换用汉字编码字符集基本集的扩充GB/T1988-1998信息技术信息交换用七位编码字符集GB/T9386-1988计算机软件测试文件编制规范GB/T11457-1995软件工程术语GB/T12345-1990信息交换用汉字编码字符集辅助集GB/T16260-1996信息技术软件产品评价质量特性及其使用指南GB/T17544-1998信息技术软件包质量要求和测试《互联网药品交易服务机构验收标准》5送样方法送测样品由各参测企业自主提交给符合资质的第三方软件测评机构。自测评开始后，参测企业提交的测评样品不允许中途再次更换，否则视为作废。2各参测企业必须提供纸介质或者电子形式的系统安装手册、系统使用手册（平台配置说明、功能使用说明、业务流程说明等）和系统安全解决方案（网络安全、应用安全、数据安全、备份还原等），必要时有责任配合测试机构进行系统安装。6术语、定义和缩略语6.1用户文档（UserDocumentation）用户文档（UD）指以打印的或非打印形式得到的文档的完整集合，用户文档的提供有利于产品的应用并且是产品的必备部分。6.2功能性（Functionality）功能性（F）指当软件在指定条件下使用时，软件产品提供满足明确和隐含需求的功能的能力。6.3可靠性（Reliability）可靠性（R）指在规定的一段时间和条件下，与软件维持其性质水平的能力有关的一组属性。6.4易用性（Practicability）易用性（P）指一组规定或潜在的用户为使用软件所需做的努力并且对这样的使用所作的评价有关的一组属性。6.5安全性(Security)安全性（S）指防止对程序及数据的非授权的故意或意外的访问的能力有关的软件属性。6.6效率（efficiency）在规定条件下，相对于所用资源的数量，软件产品可提供适当性能的能力。6.7响应时间（ResponseTime）服务器对每个应用请求的处理时间，单位：秒，该项指标反映了系统事务处理的性能，具体包括以下几项参数：a)最小响应时间（Minimum）：最小的服务器响应时间；b)平均响应时间（Average）：平均的服务器响应时间；c)最大响应时间（Maximum）：最大的服务器响应时间；d)90%响应时间（90％）：90％事务处理的服务器响应时间。6.8虚拟并发用户数（TotalVirtualUsers）测试工具模拟的用户并发数量。6.9交易频率（TransactionRate）3不同负载下每秒钟成功完成的事务处理数。6.10CPU利用率（CPUutilization）CPU占用率（％）。6.11磁盘平均队列数（Avg.DiskQueueLength）指读取和写入请求(为所选磁盘在实例间隔中列队的)的平均数。6.12可用物理内存数（AvailableMbytes）运行中的程序可利用的物理内存数。6.13数字证书（DigitalCertificate）数字证书是一个经证书授权中心数字签名的包含公开密钥拥有者信息以及公开密钥的文件。6.14电子签名（ElectronicSignature）指数据电文中以电子形式所含、所附用于识别签名人身份并表明签名人认可其中内容的数据。7测评项目及判定原则7.1测评项目及缺陷分类见下表序号测评项目标准要求缺陷分类AB观察项1用户文档○2功能性○3可靠性○4易用性○5安全性○6效率○7中文特性○7.2判定原则互联网药品交易服务系统软件测评从用户文档、功能性、可靠性、易用性、安全性、效率和中文特性七个方面进行测试，对除了“效率”以外的每一个测评项给出质量测评结果。4测评项结果分为“通过”和“不通过”，效率做为观察项，测试数据仅供参考。1)对测评项中的A类缺陷，即功能性、可靠性和安全性中有一项“不通过”，判定为“该次产品不合格”；2)对测评项目中的B类缺陷，即用户文档、易用性和中文特性允许有一项为“不通过”，当“不通过”等于二项或超过二项时，判定为“该次产品不合格”。7.3测评过程判定标准7.3.1缺陷等级说明缺陷（Bug）分为五个等级：P1级（导致系统崩溃；主业务流程出现断点；导致死机；导致程序模块丢失；内存泄漏），P2级（被测数据处理错误；软件错误导致数据丢失；用户需求未实现），P3级（被测功能不能正确实现），P4级（功能实现不完美或细小的错误），P5级（建议性问题）。7.3.2通过在测试过程中，未发现P1级或P2级或P3级的缺陷，该测试过程的测评结果判定为“通过”。7.3.3不通过在测试过程中，发现P1级或P2级或P3级的缺陷，该测试过程的测评结果判定为“不通过”。7.4测评项目判定标准7.4.1等级说明在功能性测试中，把测试过程分为三个等级：L1（必须项），L2（重要项），L3（一般项）。7.4.2判定标准1)测评项目的下级测评项的测评结果全部为“通过”，该测评项目的测评结果判定为“通过”，否则为“不通过”2)功能性的整体测评结果依下表判定：序号等级项功能性测评结果L1L2L31全部通过全部通过全部通过通过52全部通过全部通过最多四项结果为“不通过”通过3全部通过仅有一项结果为“不通过”仅有一项结果为“不通过”通过上述三种结果外的情况判定为“不通过”3)属于功能性和效率以外的测评项目，其下级测评项的检测结果中“不通过”率小于等于10%，该测评项目的检测结果判定为“通过”。8测评方法功能测试采用黑盒测试方法，结合测试内容对功能进行测试。测试过程中对系统安装手册和系统使用手册进行检查。安全性测试按照提供的系统安全解决方案，结合功能测试完成，并对系统整体安全体系进行评估。可靠性、易用性和中文特性的测试可以结合功能测试完成。效率测试采用自动化测试和人工测试相结合的测试方法。9测评工具采用国际认可的专业测试工具，Mercury公司的LoadRunner，Compuware公司QALoad,IBMRational公司的PerformanceTester。10测评地点效率测试必须在真实环境下测试，且需要协助测试机构准备测试数据。其他各项测试的测试环境由各参测厂商与第三方测试机构协商决定。611测评内容11.1用户文档表1用户文档第1页共1页测试需求测试说明测试序号完整性软件安装所需要的信息UD-01产品描述中说明的所有功能UD-02软件维护所需要的信息UD-03产品描述中给出的所有边界值UD-04正确性文档中所有信息正确，没有歧义和错误的描述UD-05一致性文档自身、文档之间或者文档与产品描述之间，相互不矛盾，且术语一致UD-06易理解程度文档对正常使用其产品的一般用户是容易理解的UD-07易浏览程度用户文档易于浏览，相互关系明确UD-08用户文档有目录表或索引表UD-09711.2功能性表2.1功能表现第1页共3页测试需求测试说明级别测试序号登录与退出系统录入用户名L1F-01录入密码F-02确定登录F-03取消登录F-04注销登录F-05修改密码F-06保存修改F-07密码找回F-08数据管理子系统产品及产品资质信息管理录入产品及产品资质资质信息（至少包括产品信息、产品资质文件、药品编码、药品名称、药品分类、剂型、规格、药品批件信息、认证情况、检验合格情况的信息）L2F-09保存产品及产品资质信息F-10修改产品及产品资质信息F-11保存修改信息F-12删除数据F-13验证药品编码的唯一性F-14设置查询条件F-15按设置条件查询F-16显示查询结果列表F-17浏览相关资质F-18正确显示产品详细信息F-19正确显示产品资质详细信息F-208表2.1功能表现第2页共3页测试需求测试说明级别测试序号交易服务信息子系统交易数据管理子息系统交易产品数据管理设置产品查询条件L3F-21按设置条件执行查询F-22显示产品查询结果列表F-23汇总结果列表F-24查看详细信息F-25正确显示产品基本信息F-26用户数据管理设置用户查询条件F-27按设置条件执行查询F-28显示用户查询结果列表F-29汇总结果列表F-30浏览查询子系统设置查询条件L3F-31按设置条件执行查询F-32显示查询结果列表F-33在线咨询F-34查询在线留言F-35咨询处理F-36交易管理子系统在线提交订购信息L2F-37签订成交合同F-38处理订单F-39提供配送业务F-40订单查询F-41显示订单查询结果F-42查看订单状态F-439表2.1功能表现第3页共3页测试需求测试说明级别测试序号交易服务信息子系统结算管理子系统设置查询条件L2F-44按设置条件执行查询F-45按照预先设定的交易规则，通过金融机构在线资金结算F-46监管子系统投诉处理投诉信息的提交L3F-47处理投诉F-48信息发布发布相关政策信息L3F-49发布处罚信息F-50发布表扬信息F-51正常显示发布信息F-52市场与交易监管设置交易查询条件L1F-53按设置条件执行查询F-54显示交易查询结果（交易产品的名称、批号、生产企业、交易数量、买卖双方信息）F-55交易信息汇总F-56导出汇总结果F-571011.3可靠性表3可靠性第1页共1页测试需求测试说明测试序号成熟性在测试过程中，系统运行稳定R-01容量到达规定的极限时,系统不崩溃、不异常退出也不丢失数据R-02容量超出规定极限时，系统不崩溃、不异常退出也不丢失数据R-03容错性能屏蔽用户的误操作R-04对错误有正确提示R-05输入错误数据时，系统不崩溃、不异常退出也不丢失数据R-06有错误操作时，系统不崩溃、不异常退出也不丢失数据R-07数据校验机制应对数据的有效性，数据项之间的逻辑关系进行校验，保证数据的有效性R-09应保证数据的完整性和一致性，不会因删除或反复的更新而被破坏或留下垃圾数据R-10对不符合要求的输入数据，系统应使用中文给出简洁、准确的提示信息，必要时应给出帮助R-111111.4易用性表4易用性第1页共1页测试需求测试说明测试序号易理解性通过适当的术语、图形、背景信息和帮助，帮助用户理解和使用系统的各项功能U-01出错消息中提供差错产生的原因和纠正的详细信息U-02易浏览性提供必要的信息，指示系统当前处理状态U-03屏幕提示、输入、输出设计规矩，易懂U-04在界面、人机交互、输出中的用语应与业务用语一致U-05易操作性具有严重后果的功能，执行可逆或者给出明显警告，执行前要求确认U-06提供辅助输入手段（如选择输入、默认值等），数据检索方便、灵活U-07系统易操作，支持标准的鼠标、键盘和快捷键操作U-081211.5安全性表5安全性第1页共2页测试需求测试说明测试序号身份认证用户权限管理提供用户功能权限管理S-01提供用户数据访问权限管理S-02验证控制身份验证不成功有次数限制及相应处理措施S-03用户唯一用户名称应具有唯一性S-04用户在被删除或被停用后，保