搜索
ArchSummit全球架构师峰会深圳站2015大数据驱动的金融业务创新百分点首席架构师刘译璟引子未来的银行会是什么样？未来的银行全渠道柜面自助电子客服全业务负债资产中间智能互联网大数据主动方便个性化“BigData”之“BIG”BigBrother《1984》：TheBigBrotheriswatchingBigGovernment政府对社会生活有深入干涉BigOil、BigSteel1960年代，指代行业中的超级企业“BigData”之“BIG”现实业务业务IT系统业务数据自动化生成和存储现实世界大数据业务IT系统数据化智能化大数据是信息化技术的自然延伸，它让我们从另外一种角度认识世界IT时代DT时代BigData=无处不在的数据信息网络可穿戴设备•可穿戴设备甚至可植入设备将越来越多的出现在现实生活中•攻壳机动队（GhostInTheShell）信息化建设•全社会的信息化程度越来越高，越来越多的业务需要计算机应用，用户与这些应用交互产生大量数据•EugeneGoostman•信息诈骗人类要学会从比特流中解读他人，更要教会机器从比特流中理解人类•个性化推荐•个性化医疗•RTB•智能客服•无处不在的网络将人和设备连接在一起，认识人、与人沟通的方法将发生本质性的变化大数据时代需要将“人”数据化：“用户画像”理论用户画像感性认识身长八尺，面如冠玉，头戴纶巾，身披鹤氅，飘飘然有神仙之概用户画像的几个方面用户画像目标方式组织标准验证描述人、认识人、了解人、理解人•非形式化手段：文字、语音、图像、视频…•形式化手段结构化、非结构化常识、共识、知识体系•依据：事实、推理过程•检验用户画像是对现实世界中用户的数学建模大数据+洞察大数据用户画像：定义源于现实，高于现实用户画像是描述用户的数据，是符合特定业务需求的对用户的形式化描述源于数据，高于数据用户画像是通过分析挖掘用户尽可能多的数据信息得到的大数据用户画像：构建原则用户画像形式化业务知识体系本体Wiki：•本体是一种形式化的、对于共享概念体系的明确而又详细的说明•本体提供的是一种共享词表，也就是特定领域之中那些存在着的对象类型或概念及其属性和相互关系•本体就是一种特殊类型的术语集，具有结构化的特点，且更加适合于在计算机系统之中使用•本体实际上就是对特定领域之中某套概念及其相互之间关系的形式化表达本体和知识表示本体实例个体元素类个体的集合关系类之间的相互作用函数一种特殊的关系公理永真断言本体通常采用谓词逻辑作为描述语言（符号表示、形式化表现）朴素的知识表示方法：标签-模型模型经验总结的用户特征标签用户特征的符号表现现实业务涉及的用户特征用户画像可以用标签的集合来表示标签体系大数据用户画像：“标签体系”方法化整为零化零为整每个标签都规定了我们观察、认识和描述用户的一个角度用户画像是一个整体，各个维度不孤立，标签之间有联系标签是某一种用户特征的符号表示用户画像是特征空间中的高维向量特征空间用户画像和标签的数学描述化整为零化零为整每个标签都是特征空间中的基向量基向量之间有关联，不一定是正交的标签是特征空间中的维度用户画像是对现实世界中用户的数学建模大数据用户画像：验证模型是否反应了现实现实是否在模型中体现•逻辑：可靠性•机器学习：准确率•搜索：查准率•…•逻辑：完全性•机器学习：召回率•搜索：查全率•…标签（体系）准不准？标签（体系）全不全？用户画像是对现实世界中用户的数学建模大数据用户画像：验证模型是否反应了现实现实是否在模型中体现•逻辑：可靠性•机器学习：准确率•搜索：查准率•…•逻辑：完全性•机器学习：召回率•搜索：查全率•…标签（体系）准不准？标签（体系）全不全？无法同时满足用户画像是对现实世界中用户的数学建模大数据用户画像：验证模型是否反应了现实现实是否在模型中体现•逻辑：可靠性•机器学习：准确率•搜索：查准率•…•逻辑：完全性•机器学习：召回率•搜索：查全率•…标签（体系）准不准？标签（体系）全不全？无法同时满足大数据用户画像：准确性验证有事实标准数据+学习，可以验证结果•训练集+测试集示例•高、富•家住北京无事实标准假设+实现，只能验证过程•计算过程是否合乎逻辑示例•好人•内心强大实践检验证伪主义•试错、A/BTest、数据闭环、自我完善实践数字化营销数字化洞察数字化渠道数字化创新运营管理风险防范网点布局优化设计网点定位和功能规划客户访问流量预测网点服务优化改进柜台资源配置优化...营销活动策划与支持差异化广告投放与推广跨渠道精准营销搜索引擎关键词优化社会关系营销...客户微观画像高净值潜在客户挖掘多维度客户细分休眠客户唤醒客户流失预测...渠道交互分析与支持客户体验设计优化...跨界产品研发产品优化改进...申请过线率提升实时反欺诈客户信用风险评价客户个性化定价押品价值自动评估...个人金融部电子银行部分行个人金融部信用卡中心分行产品管理部门渠道管理部门运营管理部分行风险管理部授信审批部信用卡中心应用部门以客户为中心的数字化战略大数据底层平台科技部/信息中心大数据时代的金融应用框架：银行版用户基本属性用户关联关系用户兴趣偏好用户价值信息用户风险信息用户营销信息人口统计学−姓名−身份证号−手机号...生活信息用户基本生活类标签−用水、用电−天然气使用信息...位置信息−家庭、单位地址−一般生活半径−日常打车路径−航空航班记录自定义信息不同属性的自定义标签−白领−高收入人群...生活关联关系−家庭关系−是否有子女−同事关系−朋友关系−社区生活圈子...金融关联关系用户在本行的业务关联−资金关联−雇佣关联−买卖关联−担保关系...用户社交网络图谱−粉丝数量−是否加V−微信朋友圈−社交网络影响力...社交网络关联关系金融产品偏好用户在我行的产品偏好−产品持有比例−产品持有金额...非金融产品偏好用户的兴趣爱好−喜欢高尔夫−经常看财经类新闻...行内渠道偏好用户对我行渠道使用−手机银行使用频率−微信银行使用习惯...行外渠道偏好用户全网渠道偏好−上网习惯−上网时长...用户自身价值用户自身的价值−是否有车−车的品牌型号−是否有房−房的大小、位置−年收入区间−是否企业高管−是否他行VIP...用户对我行贡献用户在我行的金融资产、交易为我行带来的贡献−EVA−客户综合价值−钱包份额−综合成本−业务紧密度−业务支持度...近期需求信息客户近期的需求（包含金融+非金融）−近期是否准备结婚−近期是否生小孩−近期是否换工作−近期是否出行−近期是否想买理财...营销活动信息用户对营销活动、以及我行各类产品服务的关系−忠诚度−用户满意度−用户流失概率−营销活动接受程度−营销活动活跃度...用户风险评价从行内、行外不同的维度对用户的风险进行评价−人行征信评分−百分点征信评分−信用风险等级−洗钱风险等级−综合授信额度−信贷违约记录−拖欠缴费记录−还款能力−违约概率...−信用卡逾期黑名单−小贷逾期黑名单−欠费用户名单−保险骗保用户名单−最高法失信人名单−公安欺诈名单...黑名单信息事实标签模型标签预测标签第一维：业务层次划分第二维：标签应用深度支持应用场景金融业用户画像体系：银行版统一的产品类目和属性体系产品数据集成第三方数据数据源数据采集数据管理分析类应用数据接口和应用服务类应用营销类应用数据接口统一的用户画像标签体系社区论坛2.用户全渠道ID识别用户数据集成3.信息整合4.分析建模5.用户画像企业网站移动App1.数据清洗媒体证券银行保险金融行业用户3.类别识别4.品牌识别5.属性识别6.产品画像1.数据清洗2.文本建模用户画像应用逻辑架构数据类系统信用卡核心交易系统信用卡风险关联系统数据仓库互联网渠道类系统门户网站手机银行微信银行……信用卡中心大数据平台数据交换系统外联应用网关通知类系统短信平台电子邮件数据源系统数据中转系统大数据平台数据应用系统营销类系统网上银行手机银行……微信银行分析类系统OCRM系统ACRM系统数据类系统数据集市数据仓库第三方数据---数据文件T+1大数据技术大数据管理大数据应用日志文件T+1采集工具实时接口数据文件T+0实时实时APIWebserviceOLAP系统报表系统数据集成和应用架构构建用户画像关键难题精准描述用户特征多渠道产品信息打通用户数据挖掘建模用户多渠道信息打通实时采集用户数据官网商城第三方电商第三方线下渠道体验店/销售专员客服论坛社区微信微博智能产品用户标识会员标识手机用户名邮箱银行卡固话Cookie手机旺旺邮箱支付宝固话Cookie手机固话手机固话用户名邮箱序列号序列号Cookie手机用户名邮箱固话微信ID微博ID手机用户名邮箱固话序列号MACIMEI手机固话Cookie手机固话手机固话序列号序列号微信ID微信ID微信ID微信ID微信ID微信ID微信ID一定能得到的标识有可能得到的标识企业用户触点举例用户A用户B用户C用户全渠道ID打通图中低密级业务高密级业务•有三类ID•ID间有相互联系•相互联系的ID反映出它们很有可能代表同一个用户•可以仅使用多重ID中的任意一个•最大程度打通，跨平台一致体验•使用特定ID，或者多种ID的组合•保证数据的准确和安全客户收入支出信息客户渠道使用客户资金往来...客户基本信息客户持有产品客户历史交易客户风险等级事实标签使用模型/算法用户画像标签原始数据预测标签模型标签资金往来趋势产品购买次数投诉次数...人口属性账户历史趋势渠道使用频率...用户关联关系用户满意度用户风险评分...产品购买偏好渠道使用偏好用户活跃度...消费能力违约概率用户近期需求...人口属性人群属性用户流失概率...人口属性用户价值用户兴趣爱好...模型预测建模分析统计分析文本挖掘算法...分类、聚类算法...推荐算法...预测算法...►时间序列►SVR►逻辑回归►产品扩散模型►分层贝叶斯►定价模型►动态模型►CLV模型►流失预警模型►RFM模型机器学习...►特征提取建模►特征选择建模►预测优化模型►EM►Bagging►AdaBoost►SlopeOne►Apriori►FPTree►HybridCF►Content-based►NBI二部图►HeatDiffusion►SVD矩阵分解相似度计算...►欧氏距离►Jaccard相似度►余弦相似度►皮尔逊相似度►LSH局部敏感哈希►KNN►神经网络►贝叶斯网络►SVM支持向量机►TF-IDF►VSM►CRF条件随机场►TextRank►TopicModel►LDA产出用户画像标签用户性别标签产出流程示例采集用户互联网行为页面标签抽取用户行为建模用户标签生成规则用户采样用户标签扩散用户行为建模用户标签生成规则应用应用案例：客户流失预警——模型框架客户基础数据流失预警模型流失客户挽回客户账户数据变化记录客户业务变化情况数据客户属性数据现有客户流失关键指标历史数据生成客户流失概率生成可能流失客户名单特征函数选取流失预警模型建立客户经理对可能流失客户进行挽回根据业务实际情况调整阀值应用案例：客户流失预警——分析结果性别（男）年龄年龄2金卡普通卡钻石卡机关团购支付类型消费天数0.078-0.0670.001-0.3240.310-2.671-0.454-0.110-0.3851.0810.9361.0010.7241.3630.0690.6350.8960.6800.0450.0080.0000.3050.232314.6000.3460.0360.0201.721-8.3766.529-1.0601.334-0.008-1.314-3.012-19.3260.0850.0000.0000.2890.1820.9930.1890.0030.000Coefexp(coef)se(coef)zPr(丨z丨)男性流失的概率是女性的1.8倍。年龄和流失概率间呈现U型关系，两端易流失。普通卡流失概率白金卡流失概率。金卡、钻石卡、机构团购卡流失概率白金卡流失概率，应注意白金卡客户的维护。支付类型和流失概率间存在显著负相关系。通过模型可选择易流失群体进行维护，例如：年轻男性白金卡持有者。应用案例：客户流