移动应用程序(APP)评价指标体系研究

1引言移动APP（Applicationprogram）原意是指一种开放的第三方应用程序，现在多指应用于智能手机、MID、平板电脑、MP4、手持游戏机等智能移动终端用户的应用程序，有时也被称为移动客户端［1］。其基本原理是以软件程序的面貌作为一种沟通界面，联接本地移动设备与互联网服务器，以此来提供全面适时的定制内容，传递相应的商业咨询，满足用户的信息寻求［2］。最初APP只是作为一种第三方应用的合作形式参与到互联网商业活动中去的，随着互联网越来越开放化，它被更多的互联网商业大亨看重，一方面可以积聚各种不同类型的网络受众；另一方面借助APP平台获取流量［3］。但在现实中，APP的应用领域也存在着一定问题。据统计苹果的AppStore应用总数达65万；谷歌Play商店应用程序数量达45万，整个APP市场大体的分类已经形成并趋向稳定。但自2013年起相同类型的APP应用数量暴增，同质化严重，抄袭成风，几十万款APP中，只能有几百个可以生存，因此产生了大量的“僵尸”应用。且当前我·信息分析与科学评价·移动应用程序（APP）评价指标体系研究*黄炜1，2李总苛1黄建桥1（１.湖北工业大学经济与管理学院湖北武汉430064）（2.武汉理工大学管理学院湖北武汉430072）摘要：目前，对APP的研究主要涵盖了其设计、应用、服务、实现和评价等方面，但对APP的评价研究存在着诸如评价领域单一、评价指标过少、评价内容不全面和评价体系不科学等问题。通过结合德尔菲法、层次分析法和模糊综合评价法，文章提出了一套包含有应用平台、用户体验、可视化前台、网络后台等4个一级指标，活跃度等12个二级指标和下载量等41个三级指标，权重设计上加入负分项的APP评价指标体系，并以实例验证了这一评价指标体系可为APP的设计、推广、应用与评价提供了理论参考。通过运用该评价体系对支付宝钱包等APP进行评价与比较，也发现影响一款APP质量的主要因素是软件本身的用户体验及功能。关键词：移动互联网；APP；科学评价；指标体系；层次分析法中图分类号：G250.252文献标识码：ＡDOI：10.11968/tsyqb.1003-6938.2016062ResearchonEvaluationIndexSystemofAPPAbstractThedesign,application,service,implementationandevaluationofAPParemainlycoveredincurrentstudies.AndtherearestillsomeproblemsinAPPevaluationresearch,suchasinsufficientresearchfields,smallamountofe鄄valuationindex,incompleteevaluationcontentandunscientificevaluationsystem.Inthispaper,combinedwiththeEx鄄pertMethod,AnalyticHierarchyProcessandFuzzyComprehensiveEvaluationMethod,asetofappevaluationindexsystemisputforwardthatcontainsthefirstgradeindicatorsoffouraspectsofapplicationplatform,userexperience,visualforeground,Networkbackground;12secondgradeindicatorsincludingactivedegreeandsonon;41thirdgradeindicatorsincludingdownloadvolumeandsoon;weightdesignaddedwithnegativepoints,andexamplesaregiventoverifytheindexsystemcanprovidesatheoreticalreferencefortheappdesign,promotion,applicationandevaluation.ThroughtheuseoftheevaluationsystemofevaluationandcomparisonoftheAlipayAalletAPP,itisfoundthatthemainfactorsaffectingthequalityofAPPisthefunctionofthesoftwareitselfandtheuserexperience.KeywordsthemobileInternet；APP；scientificevaluation；theindicatorsystem；AnalyticHierarchyProcess(AHP)*本文系国家自然科学基金项目“微博环境下实时主动感知网络舆情事件的多核方法研究”（项目编号：71303075）、国家自然科学基金项目“大数据环境下基于特征学习的无监督文本分类方法研究”（项目编号：71571064）与湖北省教育厅人文社会科学研究一般项目“学术虚拟社区用户持续知识贡献行为的影响机制及实证研究”（项目编号：16Y041）研究成果之一。收稿日期：2016-04-21；责任编辑：魏志鹏2016年第3期1102016年第3期国APP开发市场处于发展阶段，由于存在一定的技术障碍，部分APP无法满足用户的整体需求和市场需要。所以评价一款APP是极有必要的，不仅能够让用户正确选择令人满意的APP，而且让开发商在此过程中发现设计、开发方面的不足，在后期做进一步修改完善，以达到最高质量标准，从而获得用户的长期支持。但由于APP是一个涵盖内容很广的概念，要对它进行科学有效的评价，必须全面考量APP的各项指标。本文从APP提供平台、用户体验、软件本身和网络后台四个方面构建出基于移动网络下的APP评价指标体系，并依据文献研究法进一步优化完善指标体系。同时利用德尔菲法、层次分析法等分析计算出相应指标的权重值，通过与实际调研数据的对比分析，使得整个指标体系的结构更加完整，结论更加准确。2APP的评价研究现状网络时代APP的应用已基本贯穿人们的日常生活，如何客观地评价一款APP就显得尤为重要。通过对文献分析可以得出，目前已有不少专家和学者注意到移动APP的高速发展现状及可观的前景，并且针对基于APP的应用种类进行了相应的评价研究,但是他们往往注重单一种类的APP评价，有的甚至只针对某一类APP产品的技术或外观等层面进行探讨。如吴潇等［4］采用复杂网络中的加权二分图模型，构建了用户和APP的访问关系模型，在模型中分析了APP渠道中各类信息的传播特性，揭示了用户访问兴趣的演变；张苏闵等［1］调研了国外主要数据库商的移动APP应用现状，从用户评价角度分析出了APP内容的深度以及APP应用的可用性等方面还有待提高；LIKYOUNG［6］在基于UTAUT模型的基础上结合旅游行业和移动信息技术的特性，新增个性创新性与感知风险两个因素，构建出移动旅游APP用户接受行为模型，进而对用户对移动旅游APP接受行为进行评价；沈左源［7］在基于AHP的旅行社智慧APP设计评价研究中，建立出适合衡量旅行社智慧APP设计内容的评价指标体系，为旅行社的智慧APP设计提供了参考方案；张苏闽等［8］在国外数据库出版商移动APP应用及用户评价分析中，从用户的角度出发设计出一套专门针对国外数据库出版商移动APP的评价体系，从而得到有助于提高用户满意度的改进方案。3APP评价指标体系构建3.1指标的确定由于德尔菲法可以获得具有很高准确率的集体判断结果，所以本文首先通过使用德尔菲法［9］确定初步的指标，通过组织相关领域专家背对背咨询与研讨初步确定了本文使用的指标。为了使指标更有代表性，后期还采用普通用户问卷调查的方式对指标进一步的完善。问卷采用的是湖北工业大学知识管理与创新研究中心在2015年度调查发放的300份问卷，其中，回收问卷287份，有效问卷260份，回收问卷和回收的有效问卷比例分别为95.67%和86.67%。问卷发放分为网上统计和网下统计两种形式（各150份问卷），网上的问卷用户根据问卷调查说明进行填写，网下的问卷用户采取现场指导的方式进行填写。选取的问卷调查对象主要为在校学生、中青代的上班族、专业的APP开发人员。通过对问卷的统计分析，最终采用填写问卷年龄为16~40岁的群体，因为该群体平均每周使用APP达到30次以上具有高度的代表性。同时根据实际情况对不重要的指标进行删除修改，对遗漏的指标进行添加，进一步完善指标体系，得到准确完备的各项重要指标。3.2构建APP评价指标体系对上述确定的指标按非常重要、重要、一般、不重要、非常不重要五个等级进行评测，最终确定了指标体系结构（见表1）。3.3负分指标项的确定在选取评价指标的过程中，通过综合分析有关APP评价的文献，发现现有的APP评价类文章只考虑到对APP的推广运营商以及对用户有益的部分，有的只是描述了APP最表层的现象，没有对APP这一宽泛的概念进行深度剖析。本文基于APP推广经营商与用户的双方的角度全面考虑了APP的各项评价指标，结合自身及周围移动应用程序使用者的真111实体验，重点指出APP使用过程中存在的一些设计及使用上的问题，在APP的综合评分中以负分项的形式展示出来。基于用户的角度，如果在APP使用过程中出现闪退的现象会严重影响用户体验。并且经调查得知，用户在使用支付类和游戏类APP时最不能接受的就是闪退现象；应用商店对每款APP进行评分和评级，同时为用户提供专门的平台对每款APP的使用效果等进行评价，因此出现了吐槽的现象，部分用户通过这种方式表达了对APP的不满；在调查过程中发现，有些APP在下载的时候是免费的，但供使用的部分功能是收费的，而且还存在乱收费的情况，收费是开发商或运营商获得收益的一种措施，但这种方式是用户极为反感和排斥的；此外，APP出现故障导致用户的使用行为不便或受限，这也是影响用户体验的重要因素。综上，可以得出负分项的各项指标为闪退、吐槽、乱收费与故障率。4APP评价指标权值计算通过对各指标重要性进行比较再赋权的方法进行权值计算，目前使用较多的是德尔菲法、层次分析法(AHP)等［10］。但是这些方法由于带有决策者的主观认知程度，带有一定的主观随意性。而模糊综合评价法对于定性指标可以根据调查问卷的结果进行量化，从而将定性数据进行量化计算评价。4.1层次分析法实例运算本文以计算指标体系中的下载量、下载频率、点赞数和点赞频率这四个末级指标的权重作为层次分析法计算权重的实例。具体步骤为：（1）根据德尔菲法对相应指标进行权重赋予（见表2）；（2）根据层次分析法的对比尺度表，采用两两比较的方法，对各相关元素进行比较，形成比较矩阵：A=13251/311/231/22141/51/31/4!#$%%%%%%%%%%%%%&1（3）计算最大特征值、权重向量；①设A=（aij）为n阶矩阵，将A的每一列归一化得到B=（bil），运用公式（1）计算步骤如下：表2指标权重赋予表一级指标二级指标三级指标A1.应用平台B1.发布者属性C1.开发商C2.系统平台个数B2.关注度C3.下载量C4.下载频率C5.点赞数C6.点赞频率A2.用户体验B3.活跃度C7.使用频率C8.使用时间总量B4.认可度C9.评论总量C10.平均认可度C11.评论频率C12.应用评级B5.易用性C13.操作便捷性C14.智能化推送C15.功能导航C16.时效性A3.可视化前台B6.硬件属性B7.基础性能B8.内容属性B9.界面设计A4.网络后台B10.网络支持度C33.格式转换C34.加载速度C35.网络连接B11.网络服务C36.售后服务C37.在线答疑C38.网络服务商B12.安全性C39.访问控制C40.身份鉴别C41.通信保密性C17.屏幕可翻转性C18.内存C19.发布年限C20.安装简便C21.更新速率C22.及时备