大数据时代下金融业的发展方向趋势及其应对策略

大数据时代下金融业的发展方向、趋势及其应对策略摘要首先简要回顾了大数据的定义、内涵及其主要特征;其次,通过研究发现,金融业是信息密集型服务产业,在数据特征和数据处理方面基本符合“大数据”概念和特征,正步入大数据时代的初级阶段;接下来,论述了在大数据时代未来的金融体系尤其是银行业将具有“开放、数字化、高生产力、科学决策”的显著特征与发展趋势,并指出在通往大数据时代之路上金融业面临来自文化、管理与技术方面的挑战;最后,给出了在大数据时代金融业发展的应对策略.研究结果将不仅对金融业务未来发展规划具有非常现实的指导意义;同时,也将为大数据时代下新金融理论的拓展奠定基础.大数据是继云计算、物联网之后信息技术领域又一次颠覆性的技术变革.随着社交网络、电子商务、互联网和云计算的兴起,音频、视频、图像、日志等数据量正在以指数级增长,呈现了爆炸性增长的趋势.据著名咨询公司国际数据资讯(IDC)的统计[1],2011年全球被创建和复制的数据总量为1.8ZB(1ZB=1021B),其中75%来自于个人(主要是图片、视频和音乐),远远超过人类有史以来所有印刷材料的数据总量(200PB).互联网的边界和应用范围不断被扩展,大数据正以其多源、海量、异构的特性冲击着社会的各个领域,无论是在学术界还是业界,都引起了人们高度的关注.国外的大数据研究工作主要集中在如何进行大数据存储、处理、分析以及管理的技术及软件应用上[2,3].2008年,Nature以“bigdata”为专刊,讨论了大数据给各个领域带来的冲击和挑战;2011年,Science推出“dealingwithdata”专刊,重点探讨大数据的处理技术;2012年4月欧洲信息学与数学研究协会会刊ERCIMNews出版专刊“bigdata”,讨论了大数据时代的数据管理、数据密集型研究的创新技术等问题.在业界,2011年5月,全球著名咨询机构麦肯锡公司发布题为“大数据:下一个创新、竞争和生产力的前沿”的报告,明确提出应对大数据快速发展的策略;2012年1月达沃斯世界经济论坛把大数据作为主题之一,探讨在新的数据产生方式下,如何更好地利用数据来产生良好的社会效益.此外,2012年3月,美国公布了旨在提高和改进人们从海量信息数据中获取信息能力的“大数据研究和发展计划(bigdataresearchanddevelopmentinitiative)”,这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署.2012年7月,日本推出“新ICT战略研究计划”,也将大数据定位为战略领域之一.根据WebofScience的统计数据显示,近年来国际大数据的研究呈现蓬勃发展的态势,至2013年累计相关研究论文171篇,研究热点主要集中在3个方面[2]:(ⅰ)基于大数据的数据挖掘与分析.涉及这一热点的相关研究主要有“数据挖掘”、“云计算”、“数据分析”;(ⅱ)基于大数据的决策判定支持.涉及这一热点的相关研究主要有“技术”、“信息检索”、“判定支持”和“数据”;(ⅲ)基于大数据的具体应用研究.涉及这一热点的相关研究主要有“社交媒体”、“传播学”、“可视化”、“基因组学”以及“蛋白质组学”.与国外相比,国内大数据的研究和应用还处在起步阶段[3].2012年5月,香山科学会议组织了以“大数据科学与工程——一门新兴的交叉学科”为主题的会议,深入讨论了大数据的理论与工程数据研究、应用方向.同年6月,中国计算机学会青年计算机科技论坛举办了“大数据时代,智谋未来”学术报告会,就大数据时代的数据挖掘、体系架构理论、大数据安全、大数据平台开发与大数据现实案例进行了全面的讨论.金融作为社会经济活动的血液,对经济增长与社会进步具有非常重要的意义.对国内金融业来说,“大数据”是一个崭新的议题,研究大数据时代背景下的金融业发展方向与趋势将具有非常现实的社会价值;同时,它也将为大数据时代下新金融理论的拓展奠定学术基础.1大数据时代及特征大数据是指一般数据库软件难以获取、储存、管理和分析的大容量数据[4].2008年9月,Science杂志发表文章“Bigdata:Scienceinthepetabyteera”,“大数据”这个词开始广泛传播[5].2011年6月,国际数据资讯公司IDC研究报告“从混沌中提取价值”中3个基本论断构成了大数据的理论基础[6],大数据由此得到普遍关注.大数据从内涵上看,可主要归纳为数据、技术与应用3个方面:数据类型方面,除了包括海量的结构化和半结构化的交易数据,还包括海量非结构化数据和交互数据;技术方法方面,核心是从各种各样类型的数据中快速获取有价值信息的技术及其集成;分析应用方面,重点是采用大数据技术对特定的数据集合进行分析,及时获得有价值的信息.互联网技术的飞速发展和应用,使得电子商务、社交网络等新兴商务模式和虚拟生态环境繁荣发展,加速了移动终端、无线传感器等新技术载体在政治、经济与社会等各个领域的广泛应用.这些变革性发展不仅改变了生产和消费的行为和商业模式,同时也带来了信息数据在数量、频度和使用等多方面的巨大变革,从数据角度看,整个世界已跨入“大数据”时代[7].大数据意味着包括交易和交互数据集在内的所有数据集,其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力.大数据通常具有“4V”(Volume,Variety,Velocity和Value)特征[8,9]:(ⅰ)数据体量巨大(Volume).大数据通常指10TB(1TB=1024GB)规模以上的数据量.之所以产生如此巨大的数据量,一是由于各种仪器的使用,能够感知到的事物越来越多,这些事物的部分甚至全部数据都可以被存储;二是由于通信工具的使用,使人们能够全时段的联系,机器-机器(M2M)方式的出现使得交流的数据量成倍增长;三是由于集成电路价格降低,使很多东西都保存了下来.根据国际数据资讯(IDC)公司监测,全球数据量大约每两年翻一番,预计到2020年,全球将拥有35ZB的数据量(如图1所示),并且85%以上的数据以非结构化或半结构化的形式存在[8].(ⅱ)数据种类繁多(variety).随着传感器种类的增多及社交网络、智能设备等的流行,数据类型也变得更加复杂,不仅包括以文本形式为主的传统的关系型结构化数据,也包括以网页、图片、音频、视频、网络日志、文档、地理位置信息等种类繁多的未加工的、半结构化和非结构化的数据,其中,尤以非结构化数据为主.比如,商业银行业务发展涉及的数据类型已从以二维表结构方式表达的结构化数据,扩展到包括日志、微博、视频、图片等半结构化和非结构化数据.(ⅲ)流动速度快(velocity).流式数据是大数据的重要特征.当处理的数据由PB级代替了TB级时,“超大规模数据”和“海量数据”是快速动态变化的,数据流动的速度快到难以用传统的系统去处理.例如,商业银行的数据创建、存储、处理和分析的速度在大数据时代将持续加快,某些数据必须实时地进行分析,才能及时、有效地对业务管理产生价值.(iv)价值密度低(value).数据量呈指数增长的同时,隐藏在海量数据的有用信息却没有相应比例增长;相反,价值密度的高低常常与数据总量的大小成反比.这样反而使我们获取有用信息的难度加大.以商业银行监控视频为例,连续数小时的监控过程中可能有用的数据仅有几秒钟.大数据的“4V”特征表明其不仅仅是数据海量,对于大数据的分析将更加复杂、更追求速度、更注重实效.大数据不仅意味着数据总量的快速增长,其更大的意义在于:通过对大容量数据的交换、整合和分析,及时识别与发现新的知识,创造新的价值,带来“大知识”和“大发展”.作为一种重要的战略资产,大数据开启了一次全新的、重大的时代转型.2大数据时代下金融业的发展机遇及当前状况大数据时代到来,首先引起全球高度关注的行业之一就是金融业.2011年麦肯锡全球研究所在“大数据:下一个创新、竞争和生产率的前沿”针对美国各行业应用大数据潜在价值提升做的一个评估结果中就提出,与其他行业相比,大数据对金融业更具潜在价值,金融业在大数据价值潜力指数中排名第一[4](图2).由于我国国内银行业资产占比整个金融业资产90%以上,以下所称金融业将和银行业不加区别.金融业具有显著的IT属性,每次通讯技术的革新都会给金融业带来变革.金融业在IT基础设施、数据掌控力和人才集中度方面相较其他产业具有明显的优势,具备了深度“掘金”的潜力[10,11].一方面,大数据决策模式对银行更具针对性.发展模式转型、金融创新和管理升级等都需要充分利用大数据技术、践行大数据思维.另一方面,银行具备实施大数据的基本条件:(1)数据众多.银行不仅拥有所有客户的账户和资金收付交易等结构化数据,还拥有客服音频、网点视频、网上银行记录、电子商城记录等非结构化数据;(2)拥有处理传统海量结构化数据的经验.长期以来,商业银行已经在以信用评级模型和市场营销模型为代表的数据分析上积累了大量的实践经验,具备向“大数据”分析跨越的基础;(3)IT技术和人才储备相对充裕.金融业是信息密集型服务产业,普遍拥有大量IT设施投资和IT技术开发与应用人才.IDC认为中国金融行业正在步入大数据时代的初级阶段,并且呈现快速发展势头[12].事实上,银行每天都在生成、获取海量数据,经过多年的发展与积累,目前国内商业银行数据量已经达到100TB以上级别.一是传统银行交易系统每天会产生数亿笔交易流水信息,这些信息主要是结构化形式的数据;二是业务处理过程中,银行采集了大量用于集中作业、集中授权、集中监控的影像、视频、录音等非结构化数据;三是银行网站每天点击量达几千万次,这些数据隐含了大量客户需求或产品偏好信息;四是在各类媒体、社交网站中发布的涉及客户投诉和产品评价信息数据,银行可以通过此类数据改进服务质量与客户体验.上述数据无论是出于遵从法规与内控管理的存储需求,还是出于产品设计、市场营销的数据分析需求,都需要相关的计算机硬件和软件技术进行存储、信息抽取和分析.银行数据特征和数据处理要求,基本符合“大数据”概念与特征,银行业已经进入“大数据”时代[13].对国内银行业来说,“大数据”是一个崭新的议题,但并不是全新概念[14].“大数据技术”是数据处理在方法、理念的上创新,对中国银行业来说并非从“零”开始.事实上,商业银行在多年信息化建设中已经形成了推进大数据体系建设的诸多成果.不过,当前银行业在数据分析和利用上还停留在“小数据”时代.数据分散在各个业务系统中,数据量虽为天量,但多数为“沉默数据”.对结构化数据利用有限,对非结构化数据的收集、分析则更缺少基本的处理机制和系统做法.新形势下,国内商业银行应加快推进大数据体系和信息化银行建设步伐,充分利用数据资源优势,挖掘信息价值,促成传统业务发展经营管理模式的彻底转型,形成信息化时代新的竞争优势.3大数据时代金融业发展趋势与挑战大数据时代,需要新的逻辑和思维,需要想象力.大数据时代的核心词是开放与融合,以及“一切皆可数据化”的思维,也就是说,人类社会的各种行为都可以数据化,几乎所有的问题都能通过数据化的方法解决.在大数据时代,未来的金融体系尤其是银行将发生以下几方面重要的变化:(ⅰ)开放的银行.传统商业银行具有两项基础功能:资金中介与信息中介.银行作为资金中介可以通过专有技术实现规模经济,降低资金融通交易成本;作为信息中介可以采用专门信息处理能力,解决资金借贷方之间因信息不对称引发的逆向选择和道德风险问题.在传统商业银行主导的融资模式下,银行是社会经济信息收集中心,企业需向银行提供信息以获取信用.但在大数据时代,银行将不再自然而然的成为经济关系的信息中心,搜索引擎、社交网络、物联网、移动互联网、云计算、大数据等新兴信息技术改变了传统的信息产生、传播、加工利用的方式,特别是基于互联网技术和移动支付技术的互联网金融打破了信息不对称和物理区域壁垒,通过信息流、数据流引导各类资源的充分有效分配,甚至资金供求双方可以通过网络直接获取信息并参与交易,促使传统的生产关系发生变革,形成了联网机构相对平等的关系.这对传统商业银行业务提出了挑战,商