搜索
银行大数据解决方案一、项目背景2015年8月31日，国务院印发了《促进大数据发展的行动纲要》，这一战略性文件为我国大数据发展与应用提供了指导纲领和政策保障。在数据已成为银行重要资产和宝贵资源的形势下，《纲要》也为银行利用大数据推动转型发展指明了方向和实施路径，带来了发展新机遇。当前中国银行业正在步入大数据时代的初级阶段。经过多年的发展与积累，目前银行业的数据量已经达到100TB以上级别，并且非结构化数据量正在以更快的速度增长。银行业在数据方面有天然的优势：一方面，银行在业务开展过程中积累了包括客户身份、资产负债情况、资金收付交易等大量高价值密度的数据，这些数据在运用专业技术挖掘和分析之后，将产生巨大的商业价值；另一方面，银行具有较为充足的预算，可以吸引到实施大数据的高端人才，也有能力采用大数据的最新技术。总体来看，尽管大数据在银行业的应用刚刚起步，目前影响还比较小，但是从发展趋势来看，应充分认识大数据带来的深远影响。银行业需要进行统一的大数据平台建设，建立综合预测分析体系，整合生产系统数据资源。在此基础上与《纲要》规划的信用信息共享交换平台和公共机构数据统一开放平台有效对接，双管齐下扩展数据来源和采集渠道。这可以一方面高效收集、有效整合企业和社会公共数据，掌握企业真实需求，实现精准营销。尤其可通过农业农村信息综合服务和农业资源要素数据共享，获取三农数据和小微企业数据，解决数据挖掘和分析难点，提升三农和小微金融服务水平。另一方面利用平台动态监控企业经营及个人信用变化情况，强化信用风险智能化管理和预警，降低信用评估、风险控制的难度和不确定性，实现风险管控和精准营销的双重收益。二、银行大数据平台总体框架2.1银行大数据平台框架概述银行大数据建设是基于已有的信息化基础，充分利用和整合已有信息化资源，打破行业、部门之间的信息壁垒，运用大数据技术进行采集、加工、建模、分析，将数据价值融入到金融之中，从而提升创新能力和产品服务能力。（1）大数据分析基础平台按照功能划分数据区，设计数据模型，在统一流程调度下，整合各类数据，同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用，支撑上层应用。（2）数据应用系统基于基础数据平台，持续建设各类数据应用系统，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、营运等经营管理活动，充分发挥大数据价值。（3）数据管控建立数据标准，提升数据质量，加强元数据管理能力，为平台建设及安全提供保障。2.2银行大数据平台建设原则平台是大数据的基础实施，其建设、设计和系统实现过程中，应遵循如下指导原则：经济性：基于现有场景分析，对近年数据量进行合理评估，确定大数据平台规模，后续根据实际情况再逐步优化扩容。可扩展性：架构设计与功能划分模块化，考虑各接口的开放性、可扩展性，便于系统的快速扩展与维护，便于第三方系统的快速接入。可靠性：系统采用的系统结构、技术措施、开发手段都应建立在已经相当成熟的应用基础上，在技术服务和维护响应上同用户积极配合，确保系统的可靠；对数据指标要保证完整性，准确性。安全性：针对系统级、应用级、网络级，均提供合理的安全手段和措施，为系统提供全方位的安全实施方案，确保企业内部信息的安全。大数据技术必须自主可控。先进性：涵盖结构化，半结构化和非结构化数据存储和分析的特点。借鉴互联网大数据存储及分析的实践，使平台具有良好的先进性和弹性。支撑当前及未来数据应用需求，引入对应大数据相关技术。平台性：归纳整理大数据需求，形成统一的大数据存储服务和大数据分析服务。利用多租户,实现计算负荷和数据访问负荷隔离。多集群统一管理。分层解耦：大数据平台提供开放的、标准的接口，实现与各应用产品的无缝对接2.3银行基础数据层来源2.3.1银行内部大数据资源金融行业的数据大多数来源于客户自身信息以及其金融交易行为，其中八成左右的数据集中于银行。因此依照目前积累沉淀的数量资源情况，将数据主要分为三大类：第一类：客户基础数据客户信息数据，即客户基础数据，主要是指描述客户自身特点的数据。个人客户信息数据包括：个人姓名、性别、年龄、身份信息、联系方式、职业、生活城市、工作地点、家庭地址、所属行业、具体职业、婚姻状况、教育情况、工作经历、工作技能、账户信息、产品信息、个人爱好等等。企业客户信息数据包括：企业名称、关联企业、所属行业、销售金额、注册资本、账户信息、企业规模、企业地点、分公司情况、客户和供应商、信用评价、主营业务、法人信息等等。目前银行业的客户信息数据积累数量无疑是最大，如果将这些割裂的数据整合到大数据平台，形成全局数据，再按照自身需要进行归类和打标签，由于都是结构化数据因此将有利于数据分析。可以将这些信息集中在大数据管理平台，对客户进行分类，依据其他的交易数据，进行产品开发和决策支持。第二类：支付信息交易信息数据，可以称之为支付信息，主要是指客户通过渠道发生的交易以及现金流信息。个人客户交易信息：包括工资收入、个人消费、公共事业缴费、信贷还款、转账交易、委托扣款、购买理财产品、购买保险产品、信用卡还款等。企业客户交易信息：包括供应链应收款项、供应链应付款项、员工工资、企业运营支出、同分公司之间交易、同总公司之间交易、税金支出、理财产品买卖、金融衍生产品购买、公共费用支出、其他转账等。第三类：资产信息资产信息主要是指客户在金融机构端资产和负债信息，同时也包含金融机构自身资产负债信息，其中数据大多来自银行。个人客户资产负债信息包括：购买的理财产品、定期存款、活期存款、信用贷款、抵押贷款、信用卡负债、抵押房产、企业年金等。企业客户资产负债信息包括：企业定期存款、活期存款、信用贷款、抵押贷款、担保额度、应收账款、应付账款、理财产品、票据、债券、固定资产等。银行自身端资产负债信息包括：自身资产和负债例如活期存款、定期存款、借入负债、结算负债、现金资产、固定资产贷款证券投资等。第四类：新型业务数据此类数据包括系统的运行日志、客服语音、视频影像、网站日志等。2.3.2外部大数据所需来源银行机构进行大数据分析，为了赢得差异化竞争，就必须考虑其他数据源的输入，这些数据是自身不具有的，但是对其数据分析和决策起到了很重要的作用。银行内部有客户信息、交易信息、信用信息、资产信息等，具有较全的数据，需要的外部数据具有一定针对性，下表是外部数据需求的整理。金融机构外部数据需求类型外部信息数据需求类型及应用方式法院、公安数据个人严重行政处罚记录（如行政拘留等）、刑事犯罪记录、涉诉情况（人身关系、财产关系）、交通严重违规违章记录P2P征信信用数据个人在P2P平台贷款的信用记录互联网消费行为数据了解客户消费能力和消费偏好客户征信信息客户在其他银行或金融机构的贷款记录、信用记录等信息第三方征信客户的评级情况以及客户的社会信息社保、纳税、公积金客户的社会保障情况及经济能力工作单位性质了解客户社会身份第三方催收机构有催收记录的客户信息、客户的社会信息出入境记录客户出入境目的地、出入境频率等了解客户国外消费潜在需求国内出行记录了解客户出行习惯表一：银行外部数据需求类型正是由于以银行为代表的金融机构需要大量的外部数据弥补自身内部数据的不足，从而催生针对金融业的大数据交易市场。目前金融机构可以采用同大数据厂商合作的方式，通过自身平台来采集数据或购买第三方数据。三、大数据在银行业的应用场景3.1客户管理借助大数据分析平台，构建360度的立体画像。图二：银行大数据技术客户画像维度随着大数据的大量涌现，尤其是在社交网络的背景下，服务渠道不应仅局限于传统的银行渠道，而应整合新的客户接触点（即社交媒体网站等），这种趋势已经变得日益清晰。银行业发展战略也逐步从以产品为中心转向以客户为中心，客户成为银行发展的重要驱动力。银行不仅仅销售产品和服务，而且还应为用户提供完美的多渠道体验，成为真正以客户为中心的组织。了解客户到底是谁以及客户最真实的需求成为银行经营管理者最为关注的问题。银行可以通过大数据分析平台，接入客户通过社交网络、电子商务、终端设备等媒介产生的非结构化数据，构建全面的客户视图。根据用户行为对用户进行聚类分析，进而可以有效的甄别出优质客户、潜力客户以及流失客户。3.2营销管理借助大数据分析平台，执行个性化营销管理及策略。图三：银行大数据技术精准营销在客户画像基础上，银行可展开精准营销。1）实时营销。例如客户当时的所在地、客户最近一次消费等信息来有针对地进行营销，或者将改变生活状态的事件（换工作、改变婚姻状况、置居等）视为营销机会；2）交叉营销。即不同业务或产品的交叉推荐，如招商银行可以根据客户交易记录分析，有效地识别小微企业客户，然后用远程银行来实施交叉销售；3）个性化推荐。银行可以根据客户的喜好进行服务或者银行产品的个性化推荐，如根据客户的年龄、资产规模、理财偏好等，对客户群进行精准定位，分析出其潜在金融服务需求，进而有针对性的营销推广；4）客户生命周期管理。客户生命周期管理包括新客户获取、客户防流失和客户赢回等。3.3构建更全面的信用评价体系利用大数据平台及技术，可以更好的构建银行系统的信用评价系统。图四：银行大数据全面信用评价体系信用风险评价是银行信用风险管理工作的依据和基础,其前提是要为信用风险评估建立科学合理的评估指标体系。大数据能分析及帮助银行了解客户各方面的信息，做出快速、高效的评价、评估，实现业务安全的实施。3.4风险管理借助大数据平台及技术，实现高效准确的风险控制。图五：银行大数据全面风险管理体系随着银行业务的快速发展，银行经营者必须有效地甄别风险、防范风险和控制风险。风险管理成为银行稳健发展至关重要的一环。社会化媒体的互动、实时的传感器数据、电子商务和其他新的数据源，正给银行经营带来一系列的挑战。仅仅借助传统的解决方案，无法全面进行风险管理。大数据分析帮助银行了解客户的自然属性和行为属性，结合客户行为分析、客户信用度分析、客户风险分析以及客户的资产负债状况，建立完善的风险防范体系统。3.5运营优化在运营优化方面的应用包括：1）市场和渠道分析优化。通过大数据，银行可以监控不同市场推广渠道，进而为银行产品或者服务找到合适的渠道，优化推广策略。2）产品和服务优化。银行将客户行为转化为信息流，并从中分析客户的个性特征和风险偏好，智能化分析和预测客户需求，从而进行产品创新和服务优化。3.6解决信息孤岛银行的系统是非常多，带来的问题是信息孤岛，过去，银行通常需要小时的时间间隔去扫描各个业务系统，这会造成一些业务方面的问题。比如：现在绝大多数的交易都可以在多渠道上做，用户在做的过程中可能会遇到困难。遇到这种情况，客户会打电话到客服，相应的客服人员不太可能实时的知道这个问题。新一代的解决方案是利用现在大数据的能力把分布在各个地方的原始数据和原始的日志定时每隔一分钟进行收集和抽取，放到分布式文件系统里，然后建立索引，这样一来就能够实时的查询四、大数据在银行业的应用趋势4.1风险定价模型利率市场化改革逐渐深化，银行正在增强自身的定价能力。在贷款业务上，银行与银行的竞争本质上就是风险定价的竞争。现在，银行在客户数据和数据质量方面落后于互联网金融企业，但是风险定价能力则超过这些企业。4.2多渠道数据的实时交互银行需要加快新兴电子渠道建设，同时还要基于客户统一信息视图，实现数据在各渠道终端的及时交互。4.3加强语义和语音分析很多银行内部、社交网络、移动设备上来的数据和电子商城上的数据都是非结构化的，其中一部分还是语音，比如客户录音，这些数据对于银行了解客户也是至关重要的。4.4实时营销将会推广到更多的银行和更多的银行业务根据客户所在地进行营销、根据客户最近一次的交易进行营销、根据客户的言论进行营销、根据客户浏览的网页或者商品进行营销等。4.5银行进入P2P领域对于部分细分市场，银行将从贷款的提供者走向贷款的中介。实际上，我们已经看到一些银行正在尝试这种模式，他们仅仅是撮合资金的提供方和需求方。4.6将银行的电子商城业务和银行金融服务结合起来银行进入电子商务领域本质上并