金融大数据解决方案之我谈

2017BACOE_2解决方案交流会议金融大数据技术解决方案之我谈演讲者张天长大数据背后的技术金融大数据与传统数仓议题构建金融大数据解决方案大数据解决方案分析实践大数据平台数据仓库案例大数据背后的技术大数据技术起源4Google三大论文MapReduce/GFS/BigTableApacheLucene开源的高性能全文检索工具包ApacheNutch开源的Web搜索引擎大数据技术起源5GoogleHadoopGFSHDFSMapReduceMapReduceBigTableHBase大数据技术的发展62004年--DougCutting基于Google论文实现(HDFS/MapReduce)。2005年12月--Nutch移植到新的框架，Hadoop在20个节点上稳定运行。2006年01月--DougCutting加入雅虎。2006年02月--ApacheHadoop项目正式启动以支持MapReduce和HDFS的独立发展。2008年04月--赢得世界最快1TB数据排序在900个节点上用时209秒。2008年10月--研究集群每天装载10TB的数据。2009年03月--17个集群总共24000台机器。2009年04月--59秒内排序500GB(1400个节点)和173分钟内排序100TB数据(3400个节点)。大数据平台集成商7ClouderaHortonworksFusionInsight（华为）Transwarp（星环）大数据平台核心组件8HADOOP（分布式文件系统HDFS，并行计算框架MapReduce)YARN（Hadoop资源管理器：计算、内存、带宽等）HIVE（分布式数据仓库，HiveQL语言，不适合低延迟计算）HBASE（宽表、大表的非结构化数据库）SPARK（具有MapReduce有点，中间结果在内存，语言JAVA、SCALA）ZOOKEEPER（分布式应用程序协调服务）MANAGER（集群管理）Mahout(可扩展的机器学习和数据挖掘库)金融大数据与传统仓库金融传统数据仓库10报表平台绩效系统支付系统客户360个人结算账户回单打印银企对账存贷标准化监管报送系统内审系统关联交易成本分摊风险监控外管报送系统风险预警平台EAST数据报送总部一体化后督AML反洗钱。。。。。。客户风险大数据部分应用场景11网络金融征信•P2P网络贷款市场规模急剧增长•个人征信业务需求不断上升•通过大数据实时分析客户信用记录提升企业价值小微贷款管理•需要大数据分析提供业务支撑•利用实时数据处理信息管理、交叉营销、信贷模型分析以及业务风险控制的需求不断提升财富管理评估•利用大数据分析给予用户有价值的财富管理产品组合•使用业态广：银行/财富管理机构/券商/保险反欺诈预警•渗漏与欺诈风险增加，控制力度和手段不足•缺乏先进的分析能力“实时高效”的甄别可疑理赔行为客户识别、流失预警分析识别潜在客户群体、维护老客户、降低客户开发成本成为主要需求理赔审查评估•骗保识别成为保险业最大问题难点•分析、评估理赔数据有效降低风险并为保险赔付制定提供依据高频交易分析•量化投资增长迅速，对结构化/非结构化数据利用力度不断加大•实时、准确的数据模型提供有价值的交易推荐，提升客户满意度保险精算•利用大数据对险种、赔付率建立模型进行细分维度下的精准预测提升企业盈利水平•保险业核心业务需求实时分析客户信用记录提供贷款依据大数据提供交叉营销、信贷模型分析大数据实时分析渗漏欺诈风险利用外部内部大数据有效管理客户关系实时建立赔付率模型、并根据客户分析制定险种划分内外部大数据分析有价值的财富投资组合数据量化投资组合、建立高效数据模型理赔数据审查、数据评估，有效降低异常赔付和骗保大数据在金融领域的热点应用12012345678910012345应用热度应用价值周期用户画像风险管理资产产品定价运营优化区块链智能投顾风险定价量化交易精准营销金融搜索引擎金融领域大数据应用热点图•横轴代表该应用领域价值周期，表明该应用价值速度的快慢•纵轴代表该应用领域的炒作周期阶段•圆圈代表应用领域的规模，表示该应用领域当前参与方的多少与应用数量大数据解决方案分析实践大数据部分应用分析-某互联网金融产品14互联网金融行业在解决什么问题?面临怎样的风险?用什么样的技术手段来应对?‒传统金融V.S.互联网金融‒信用风险V.S.欺诈风险‒传统风控V.S.数据科学技术风控互联网金融行业中的风险15风险遇到的问题业界通常的方法业界的方法为什么无效信用风险还款能力收集收入水平、消费水平、负债情况等对用户进行风险评分无权威数据、数据收集难度大、传统评分卡有效特征挖掘难度大欺诈风险伪冒申请和欺诈交易人工审查、信用黑名单、基于规则人工效率低、无权威黑名单、无法自动发现异常、欺诈手段更新快互联网金融风险分析实践16借款用户通信社交网络与欺诈风险结论1:与坏用户有大量关联的借款用户的坏账率是未关联用户的2.9倍结论2：高分段用户的坏账率是低分段用户的3.3倍风控建模中的数据科学17数据获取与清洗特征提取高级特征提取建模风险控制金融数据消费数据行为数据社交数据其他统计学习数据分析社交网络分析......消费能力评级用户风险评级社交关联评级用户属性评级其他GBDT梯度提升决策树SVM支持向量机RF随机森林......大数据构建数据仓库案例2016年成都银行历史数据平台一期19调度监控ODBCJDBC专用接口数据加载数据压缩数据安全数据处理数据查询数据导出共享存储统一调度统一监控历史数据存储应用功能信贷系统核心系统个贷系统微贷系统CRM网银系统信用卡手机银行二代支付其他海量数据并行处理数据存储历史明细数据获取测试明细数据获取相关应用系统测试环境接口服务数据查询应用司法查询、历史指标查询客户历史数据查询历史数据查询界面柜面终端非现场审计审计界面查询服务源系统2017年长沙华融湘江银行大数据平台20构建金融大数据解决方案逻辑架构22技术架构23未来大数据应用发展趋势24机器学习两级分化数据治理物联数据风险管理分布存储终端整合跨界应用机器学习和数据科学将加速发展，带动风控和反欺诈领域的应用行业领导者与后来者的差距将会变大，传统金融机构逐渐跟上趋势数据治理将成为大数据平台的重点，金融业注重合规和数据质量问题金融服务将重视物联网大数据的应用如ATM和移动银行业务风险管理仍然是大数据平台的重点，形成以数据驱动的风控、预警行为分布式云存储将逐渐替代昂贵、扩展性差的传统数据仓库作为整体解决方案前端到后端的整合能力将逐渐成为检验软件解决方案的基础能力大数据将指领金融业与其他领域的跨界整合，如快消品、医疗、零售和制造ThankYou!