刘刚--亲历互联网金融风口（PDF29页）

亲历互联网金融风口 ——国内顶尖金融机构IT架构转型解密  阿里云 刘刚 互联网金融风口 这场风有多大 § 全球第3大货币基金  § 用户超过8000万  § 规模超过6000亿  § 中国第1大货币基金  § 用户超过3000万  § 规模超过1000亿元  公司成立9年 基金成立半年多 基金成立1年多 § 排名靠后  § 每年亏损  § 投资数百万上余额宝  这场风有多大 § 用户超过2亿  § 峰值日保单量1.82亿  § 估值80亿美元  § 用户过千万  § 日均交易数百万笔    从零开始 成立半年多 成立1年多 § 第一家互联网保险公司  § 投资10亿  § 全业务上云  风口求生 雷军：站在台风口猪也能飞上天。  马云：台风过去了摔死的还是猪。  核心问题和能力 • 安全合规  • 每天亿级交易处理能力  • 每秒万及TPS并发处理能力  • 海量数据分析和处理能力  • 低成本计算能力  • 高可靠和高可用  • 敏捷开发和运维  金融的生命线：安全合规 符合金融合规要求的数据中心 Master1 Master2 Master3 NC11 NC12 NC13 NC21 NC22 NC23 NC31 NC32 NC33 § 单网卡损坏  § 单电源损坏  § 单磁盘损坏  § 单服务器损坏  § 单交换机损坏  § 单机架掉电  § 关键系统升级    基本不影响业务系统运行  全面的高可用设计 同城容灾/两地三中心 DMZ的设计 全逻辑隔离 半逻辑半物理隔离 全物理隔离 阿里金融云技术整体架构 IaaS平台：金融云专属集群（部署在银行数据中心） 弹性计算服务ECS 关系型数据库服务RDS 开放数据处理服务ODPS 开放结构化数据服务OTS 开放存储服务OSS 数据建模产品 DaaS平台：大数据体系 离线/实时数据服务 商业分析服务 数据安全服务 应用容器平台 其他 数据平台 通讯平台 监控平台 治理平台 管控平台 RPC 消息 服务 自动化运维 PaaS平台：中间件技术体系 Cloud DC：云数据中心设计 供电设计标准 布线标准 网络设计标准 机房规划标准 制冷设计标准 Ali Stack Ali Stack 整体架构 • 端到端的解决方案：通过整合内部技术资源实现阿里整体技术能力的集成，打造一个完整的金融技术平台。 • 面向大型应用：整套技术方案真正能够支撑海量业务处理，实现系统的水平扩容，摆脱集中式架构的束缚。 • 成熟技术体系：相关技术经过长期海量业务验证，具有配套的开发、管理和治理工具。不是简单使用开源产品堆砌出来的试验环境。 • 只有通过端到端的”Full Stack”技术体系才能真正解决海量计算和大数据处理的问题。 第一步：基于传统技术的架构调整 面临的问题：  • 系统上线时间只有2-­‐3个月  • 现有应用系统和基础设施都无法应对海量业务  解决方案：  • 上阿里云  • 去O  • 垂直拆分  • 应用系统无状态化，实现水平扩展  • 核心业务处理部分前置，复杂业务分级处理  上线过程中出现的问题 • 需要数据库重连：网络波动或系统升级引起的数据库闪断导致系统业务暂时性中断。  • 需要改变接口模式：文件过大导致传输时间长，文件处理出现问题不易解决，用spring  batch处理中断后难以找出问题并继续处理。  • 需要合理构建索引：有时数据库CPU打满，但其他资源空闲，导致系统无法运行。  • 数据量增长太快，导致有些业务处理难以使用。  • ……  传统系统改造后的瓶颈 • 采用文件包的方式接口处理能力有限  • 每天业务处理能力局限在2000-­‐3000万笔  • 系统难以进一步扩展  • 数据需要不断迁移  • 开发响应时间长，不能满足业务快速变化的需求  第二步：新一代系统的建设 集中式 分布式 垂直扩展 水平扩展 高可用 持续可用 高成本 低成本 企业级系统 互联网平台 瀑布开发 敏捷开发 新一代系统的建设目标和能力 § 服务化  § 分库分表  § 单元化  § 消息中间件  § 大数据处理  § 搜索引擎  每天亿级交易处理能力  每秒万级并发处理能力  百亿级查询和分析能力  百T级离线数据处理能力  新一代系统的技术架构 逻辑架构图 物理部署图 分库分表和分布式事务处理 § Sharding  § TDDL的使用  § 分布式事务处理策略  § 大/热账户处理  § 历史数据查询  主业务服务 从业务服务A     从业务服务B     数据库 数据库 数据库 tryX 1. tryX成功 业务活动 管理器 活动日志 启动业务活动 登记业务操作 提交/回滚业务活动 confirmX cancelX tryY confirmY cancelY 2. tryY成功 3. confirmX成功 4. confirmY成功 分布式系统的架构策略 • 横向拆分和读写分离  • 全局性数据的维护管理  • 热点账户的处理：  – 异步记账（有透支概率）  – 账户切分（垂直、水平）  – 余额分布管理  • 非实时业务异步化  单元化部署 交易系统 账户系统 交易数据库 账户数据库 交易数据库 confreg 交易系统 账户系统 账户数据库 GSLB（DNS） 单元1 交易系统 账户系统 交易数据库 账户数据库 交易数据库 confreg 交易系统 账户系统 账户数据库 单元2 交易系统 账户系统 交易数据库 账户数据库 交易数据库 confreg 交易系统 账户系统 账户数据库 单元3 交易系统 账户系统 交易数据库 账户数据库 交易数据库 confreg 交易系统 账户系统 账户数据库 单元4 LVS + Spanner(ssl) LVS + Spanner(ssl) 更多的利用云计算产品 20  ————————————————————————云计算服务 ———————————————————————— 数据服务 ODPS RDS：关系数据库服务 DRDS: 分布式关系数据库 OTS：结构化数据服务 ODPS：大规模数据处理服务 BASE/DPC：大数据开发管理平台 CDP：数据交换平台 SLS：简单日志服务 ADS：实时数据分析服务    弹性计算服务 ECS：云服务器 SLB：负载均衡 VPC：专有网络服务 ESS：弹性伸缩服务   ECSSLB  分布式存储服务 OSS：存储服务 OCS：分布式缓存服务 KV-Store：分布式缓存服务 OAS：冷备服务 CDN：内容分发网络  RDSOSSOTSOCSCDN安全与管理 云盾 云盾：安全体检、安全管家、防DDos 云监控：8种站点可用性监控、14种服务器监控  云监控 应用服务 ACE ONS：开放消息服务 MQS：消息队列服务 Opensearch：开放搜索服务 PTS：性能测试服务 MTS：流媒体编码服务  § 阿里云有丰富的云计算产品，以服务方式提供，通过服务目录自助开通，即开即用，统一运维和管理。  利用大数据平台挖掘数据价值 同步中心数据开发平台数据交换  平台平台 服务 数据监控数据质量中心调度系统代码托管ETL元数据中心工具 数据安全数据挖掘平台算法、建模 模型部署 设计 开发 质量 运维 数据运营平台获取数据 消费数据 数据可视化 模型监控 飞天分布式系统流计算OSPS实时计算ADS数据挖掘xlib离线计算ODPS通过PaaS实现分布式海量业务处理 应用服务：sofacore 应用负载均衡：configserver 自动化运维:zpaas 分布式资源管理：drm 分布式数据层：zdal Web层：sofamvc 应用容器：cloudengine 服务路由：routerclient 会话管理：session 消息队列：msgbroker 分布式任务：schedule 应用监控和服务治理:xflush 数据运营平台 信用平台 安全平台 客服平台 商户/合作机构 BI分析师 个人用户 大数据平台 市场运营 微贷 监管机构 账户安全 资金安全 智能客服 信用评分 精准营销 保险理财平台 个性化推荐 效果分析 风险评估 保险定价 反洗钱 市场预测 通过大数据平台支撑业务创新 在技术转型过程中遇到的问题 技术人员！！！ 技术人员应该思考的问题 业务 技术 战略 Architect    =    Business    Technology  Strategist  未来的计划-全生命周期管理  代码变更源码管理持续集成发布包存储TESTSITLnPPRE-­‐PRODPROD研发线下线上未来的计划-数据创新 手机：[phone]  旺旺：法华  邮件：[e-mail]  来往：  @InfoQ  infoqchina