竞品分析测试方案（DOC18页）

文档名称文档密级2019-8-24华为保密信息,未经授权禁止扩散第1页,共18页竞品分析测试方案1测试哪些竞品？将RCS的业务进行划分，各自选择1~2款当前最流行的APP应用作为竞争产品进行分析，其中：视频业务区分ios平台和android平台，分别选择FaceTime和微信作为分析对象；消息类业务区分国内外的流行软件，国内主要是微信，海外主要是whatsapp业务，分析过程中同时拿两款app作为分析对象；呈现类业务，目前做的最好的软件微信作为分析对象；综合指标部分选择和RCS业务最相似的微信和skype作为分析对象。对比项RCS微信SkypeWhatsappFaceTime音频业务√√视频业务√√√消息类业务√√√登录注销√√呈现类业务√√性能指标√√√2测试哪些维度？测试维度功能完备性Qos主观评价音频业务静音、外放、DTMF、音量控制方式、业务触发入口、其它特色功能、编解码、拨号盘、历史记录在不同网络质量下的通话质量、最优质量的网络要求结合主观概念进行综合评价文档名称文档密级2019-8-24华为保密信息,未经授权禁止扩散第2页,共18页视频业务静音、外放、DTMF、音量控制方式、摄像头切换、音视频互换、窗口隐藏、业务触发入口、编解码、其它特色功能在不同网络质量下的通话质量、最优质量的网络要求结合主观概念进行综合评价消息类业务回执、输入状态、表情、共享内容、群聊、业务触发入口在不同网络质量下的业务成功率.时延等结合主观概念进行综合评价登录注销自动登陆、静默登陆、网络状态提示、其它特殊业务对网络状态的敏感程度、登陆耗时结合主观概念进行综合评价呈现类业务呈现信息的内容、内容大小，图片质量各种呈现信息更新的成功率和时延结合主观概念进行综合评价性能指标业务场景下的流量、电量、内存、CPU、安装包大小不涉及结合主观概念进行综合评价用例体验评估RCS的用户体验以及对比分析竞品之间的差异Qos测试基于网络有一定网络话务模型下进行竞品测试。根据《QoS&话务模型&性能规格》（2013-7-22刷新）中的定义，典型网络QoS模型如下：注：1、其中WIFI/宽带接入为必选场景，3G接入/2G接入为可选场景。2、“丢包率、时延、抖动”等数值均指一侧的数据，即指UE-SBC-IMS(AS)的数据。需要注意的是，在测试部分场景时，需要在两个UE侧加扰，比如在测试音频的“WIFI:较差”场景时，需要在UE1-SBC-IMS(AS)一侧按照丢包：11.5%，时延：215ms，抖动：100ms加扰，同时需要在UE2-SBC一侧也按照丢包：11.5%，时延：215ms，抖动：100ms加扰。文档名称文档密级2019-8-24华为保密信息,未经授权禁止扩散第3页,共18页3测试哪些项？3.1音频业务3.1.1功能完备性针对音频呼叫的功能完备性，进行如下维度的功能完备性测试类型功能点测试点描述音频呼叫业务发起入口来电铃声大小控制来电铃声的大小控制，在各种手机情景模式下的来电铃声接听方式包括锁屏状态下的接听、正常下的接通界面呈现信息在振铃态通话态各自能够呈现多少信息？静音功能是否支持外放功能是否支持DTMF信息查询在通话态能够并行操作多少业务转CS呼叫编解码支持哪些编解码切换视频呼叫补充业务与呼叫的冲突包括PS业务的冲突和CS呼叫的冲突通话记录通话记录查询通话记录删除功能通话记录详情界面信息呈现拨号盘拨号盘搜索拨号盘删除功能其它其它特色功能文档名称文档密级2019-8-24华为保密信息,未经授权禁止扩散第4页,共18页3.1.2Qos质量在对比测试过程中，各个影响参数的设置如下：设置项RCSSkype组网RCS的主流组网（内置SVN）默认配置（安装后默认配置）编解码使用默认编解码opus2198冗余支持（按照默认配置支持二级冗余）针对语音呼叫的Qos分析，需要测试的关键指标如下（包括统计方法）：关键指标RCSSkype接通率连续测试10次，计算接通率连续测试10次，计算接通率接续时长从日志中获取接续时长通过外部计时的方式实现（秒表）语音时延以DSLA的测试数据为准以DSLA的测试数据为准MOS以DSLA的测试数据为准以DSLA的测试数据为准3.2视频业务3.2.1功能完备性针对视频频呼叫的功能完备性，进行如下维度的功能完备性测试类型功能点测试点描述视频呼叫业务发起入口来电铃声大小控制来电铃声的大小控制，在各种手机情景模式下的来电铃声接听方式包括锁屏状态下的接听、正常下的接通界面呈现信息在振铃态通话态各自能够呈现多少信息？静音功能是否支持外放功能是否支持文档名称文档密级2019-8-24华为保密信息,未经授权禁止扩散第5页,共18页DTMF摄像头切换窗口切换窗口隐藏信息查询在通话态能够并行操作多少业务编解码支持哪些编解码切换音频呼叫补充业务与呼叫的冲突包括PS业务的冲突和CS呼叫的冲突其它其它特色功能3.2.2Qos质量在对比测试过程中，各个影响业务的参数设置如下：设置项RCSFaceTime/微信组网RCS的主流组网（内置SVN）默认配置（安装后默认配置）编解码音频编解码视频opus；视频编解码使用H.2642198冗余支持（按照默认配置支持二级冗余）针对视频呼叫的Qos分析，需要测试的关键指标如下（包括统计方法）关键指标RCSSkype接通率连续测试10次，计算接通率连续测试10次，计算接通率接续时长从日志中获取接续时长通过外部计时的方式实现（秒表）视频质量ICT工具评测（工具正在调试，如果不能完成测试，则采用视频主观判断）视频主观判断（只针对主观感受对比）文档名称文档密级2019-8-24华为保密信息,未经授权禁止扩散第6页,共18页音频质量以DSLA的测试数据为准以DSLA的测试数据为准MOS以DSLA的测试数据为准以DSLA的测试数据为准3.3消息类业务3.3.1功能完备性类型功能点测试点描述单聊业务发起入口草稿保存状态显示输入状态显示表情消息分页加载来电提示方式界面呈现信息消息置顶单聊支持的内容消息同源其它特色功能群聊群聊发起入口群聊支持的内容群聊人数限制群聊的参数其它特色功能图片共享图片共享入口照片墙点击下载其它特色功能文档名称文档密级2019-8-24华为保密信息,未经授权禁止扩散第7页,共18页位置位置共享入口其它特色功能PTT共享入口PTT时长PTT取消PTT信息显示PTT播放模式其它特性功能名片共享共享入口共享的信息项其它特色功能视频文件共享共享入口支持的格式文件大小限制点击下载其它特色功能3.3.2Qos质量【IM业务】在IM业务的对比测试过程中，各个影响业务的参数设置如下：设置项RCS微信消息模式Session模式（RCS默认模式）默认配置（安装后默认配置）组网MSRPoverTCP消息内容根据Qos测试要求设置根据Qos测试要求设置针对IM业务的Qos分析，需要测试的关键指标如下（包括统计方法）关键指标RCS微信文档名称文档密级2019-8-24华为保密信息,未经授权禁止扩散第8页,共18页成功率连续测试10次，计算接通率连续测试10次，计算接通率时延从日志中获取接续时长通过外部计时的方式实现（秒表）【位置业务】位置业务使用IM消息发送，测试结果以IM业务的测试结果为准，不针对位置业务进行独立的Qos测试。【图片共享】在图片共享的对比测试过程中，各个影响业务的参数设置如下设置项RCS微信消息模式Session模式（RCS默认模式）默认配置（安装后默认配置）组网MSRPoverTCP共享内容根据Qos测试要求设置根据Qos测试要求设置针对图片共享的Qos分析，需要测试的关键指标如下（包括统计方法）关键指标RCS微信成功率连续测试10次，计算接通率连续测试10次，计算接通率时延从日志中获取接续时长（时延从何时开始？何时结束？）通过外部计时的方式实现（秒表）速率文件大小/发送时长（指端到端的？还是单向？双向？）【名片共享】名片共享业务使用IM消息发送，测试结果以IM业务的测试结果为准，不针对名片共享进行独立的Qos测试。【视频文件共享】文档名称文档密级2019-8-24华为保密信息,未经授权禁止扩散第9页,共18页在视频文件共享的对比测试过程中，各个影响业务的参数设置如下设置项RCS微信消息模式Session模式（RCS默认模式）默认配置（安装后默认配置）组网MSRPoverTCP共享内容根据Qos测试要求设置（是否可以采用自身的录制时间为准，录制画面如何处理）根据Qos测试要求设置针对视频文件共享的Qos分析，需要测试的关键指标如下（包括统计方法）关键指标RCS微信成功率连续测试10次，计算接通率连续测试10次，计算接通率时延从日志中获取接续时长（时延从何时开始？何时结束？）通过外部计时的方式实现（秒表）速率文件大小/发送时长（指端到端的？还是单向？双向？）【PTT共享】在PTT共享的对比测试过程中，各个影响业务的参数设置如下设置项RCS微信消息模式Session模式（RCS默认模式）默认配置（安装后默认配置）组网MSRPoverTCP共享内容根据Qos测试要求设置（是否可以采用自身的录制时间为准，录制画面如何处理）根据Qos测试要求设置针对PTT共享的Qos分析，需要测试的关键指标如下（包括统计方法）关键指标RCS微信成功率连续测试10次，计算接通率连续测试10次，计算接通率文档名称文档密级2019-8-24华为保密信息,未经授权禁止扩散第10页,共18页时延从日志中获取接续时长（时延从何时开始？何时结束？）通过外部计时的方式实现（秒表）速率文件大小/发送时长（指端到端的？还是单向？双向？）3.4登陆注销（包括断网重连）3.4.1功能完备性类型功能点测试点描述登陆注销开机自动登陆后台运行开销户失败原因提醒断网重连终端状态的检测IM下的断网重连音视频下的断网重连内容共享的断网重连3.4.2Qos质量测试RCS和竞争产品在现网WiFi网络上的注册时长和成功率，每种场景测试10次，取其平均值作为测试结果。3.5呈现类业务3.5.1功能完备性类型功能点测试点描述呈现类呈现的内容内容刷新周期文档名称文档密级2019-8-24华为保密信息,未经授权禁止扩散第11页,共18页Presence信息的显示好友发现的方式3.5.2Qos质量RCS和微信在Presence业务上的实现存在一定的差异。测试策略如下：呈现内容RCS微信测试分析登录状态有“离线”和“在线状态”实时呈现在联系人列表没有登录状态的呈现不进行Qos测试签名刷新好友更新签名后，自动更新在联系人列表中不自动更新，点击好友签名时更新业务时延：微信从手动刷新开始，rcs已好友更新时间开始成功率：正常统计头像更新好友更新头像后，自动更新在联系人列表中不自动更新，点击好友头像时更新业务时延：微信从手动刷新开始，rcs已好友更新时间开始成功率：正常统计好友发现自动发现好友，周期可以配置不自动发现，手动发起好友检测（根据QQ联系人/手机联系人），检测到好友后，需要手动发起增加为好友的操作。不进行Qos测试3.6性能指标性能测试指标是除业务完备度和用户体验外，最直接的竞争力体现。本测试方案针对安装包大小CPU、内存、流量、电量、流畅度进行对比测试。文档名称文档密级2019-8-24华为保密信息,未经授权禁止扩散第12页,共18页3.6.1安装包大小比较软件的安装包大小。3.6.2CPU对于APP来讲，CPU测试和内存测试根据如下几点考虑测试场景。在相对稳定的状态进行CPU的测试和对比；说明：对APP的稳定状态进行测试，因为用户一般不会感受到CPU的飙高，CPU的对外呈现是终端的发热量、app的使用流畅度。对于操作过程瞬时状态用户较难察觉，因此竞品测试过程中基于如下两个原则设计场景：针对场景进行的通用性。说明：由于软件的业务和架构不同，无法做到很细节场景的对比，因此测试过程中关注业务场景，对应的配置以默认配置为准。某些业务独有的特性在业务实现完备性章节进行测试，不在性能指标中作为专项测试。基于以上原则，抽象出以下几种测试场景：1、后台运行场景构造：空联系人，同一款终端