大数据解决方案介绍模板

©CopyrightIBMCorporation2011BusinessConsultingServicesIBM大数据平台解决方案介绍Dalian,11March,2013XiaoFeiWang2.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServices1.项目背景理解IBM大数据平台解决方案3.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServices当前业务面临的挑战数据问题企业内数据定义缺失；数据项缺失；数据属性不完整；企业外部数据无暇顾及；数据在多个系统中重复采集、重复存储；系统数据无法关联、共享，数据整合困难；系统林立，数出多门；数据时效性差，使用者无法及时获得所需信息；数据使用不方便，方法繁琐；手工报表多；数据质量差，数据不完整，数据不一致；业务支持TextText网络运营决策与报告风险管理产品运营营销支持精细化管理对运营商价值链的影响数据问题长期存在将导致：对自身状况摸不透对经营环境看不清对市场先机抓不住对未来竞争赢不了制约阻碍•没有准确数据支撑•难以进行深度分析•决策缺乏可靠依据4.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServicesIT如何推动公司运营变革2、服务管控模式逐步完善夯实基础管理管控思路由简单支撑向精细服务转型全面优化信息化服务流程实现分级服务保险行业经过多年的发展，整个行业的变革越来越快，市场竞争环境也日益激烈。保险公司想要在残酷的竞争中占得先机，就必须考虑产业的融合，并在价值链中占得有利的位置。1、由被动的IT支撑向主动的以数据为核心的IT服务转型以大数据为核心组织IT服务能力持续完善基础支撑能力拥抱互联网架构体系全面云化5.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServices大数据思考根据Gartner的定义，大数据的特征具体涵盖了3V的内容：1.数据量庞大（Volume）：从PB扩展到ZB；IT系统、互联网、物联网等每天都在产生大量新生数据，过去的两年间产生的数据占到了所有数据的90%2.数据变化快(Velocity)：数据变化与处理的频度由天加速到秒/毫秒；订单、支付、欺诈、微博、监控视频、传感器、信令每时每刻都在不停的产生数据3.数据多样（Variety)：数据种类繁多：数据库表，格式文本，自然语言文本，电子表格，声音，图片，视频……数据规模大数据范围广数据加工深入数据服务对象全面数据类型多数据管理复杂1.生产系统数据2.网元等设备数据3.平台自生数据4.外部互联网数据5.……10PB级+指数级快速增长1.结构化、非结构化2.静态、动态3.……1.在线、近线、离线2.高性能、低成本、高质量、可追溯3.……1.企业内部（管理层、执行层、一线营销群体等）2.企业外部（客户，合作伙伴，供应链、政府部门等）3.内部生产系统4.……1.信息转换2.知识沉淀3.价值创造4.……数据成为公司核心资产和核心竞争力，将被设计用于在成本可承受（economically）的条件下，通过快速（velocity）采集、发现和分析，从大量化（volumes）、多类别（variety）数据中提取价值（value）6.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServices大数据应用价值可以从公司侧和客户侧体现客户：精准服务及时响应智能应用透明管控围绕大数据应用，促使公司实现科学运营、价值创造以及透明管控，一方面能使得公司侧感知到大数据带来的管理、决策、运营效率和质量的提升；另一方面，能够使客户感知到大数据带来业务开发的智能、服务及时以及与需求匹配的精准。科学运营价值创造企业：开发便捷分析及时决策支持数据准确…大数据平台客户7.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServices2.大数据平台需求理解IBM大数据平台解决方案8.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServices大数据平台的关键需求角色流程数据应用数据分类市场营销产品开发客户管理客户洞察……决策类活动管理类活动执行类活动分析类活动1.结构化了企业架构中四大架构的关键要素，以及要素间的承接关系，形成了一套规范、清晰的定义，从而为大数据平台的方案设计建立了更明确的指导依据和验证方法。柔性架构的大数据平台1.企业架构方法论和云计算技术让建立柔性架构成为可能，基于企业架构元模型，建立柔性的架构需要实现业务、应用、数据、技术四个架构层面的解耦。a.业务—应用/数据：业务活动在业务架构和应用架构(大数据平台)间具有承上启下的作用，可从业务类型和业务活动类型两个维度划分，前者体现业务差异，后者更多体现数据平台能力要求，且可以稳定地分为决策类、管理类、执行类和分析类四种，因此业务与IT的解耦可从四类业务活动支撑实现。b.应用—数据：应用和数据共同承接了业务，数据实体也承接了应用交互，因此二者解耦的核心是数据实体。这可以通过建立稳定的、弹性的企业企业级大数据模型、数据整合与存储区域，保证未来应用对数据操作的可扩展，以及屏蔽了应用对底层数据直接访问的数据服务加以实现。c.应用/数据—技术：系统组件承接了应用和数据，因此要实现该层面的解耦，需要解决系统组件对应用的依赖，可通过建立应用开发平台、数据交换平台和数据管控平台来实现。同时基于云计算的弹性扩展和虚拟化技术实现系统组件与基础设施的解耦。9.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServices大数据平台能力需求分析——决策类业务活动识别问题或对决策的要求分析和阐明方案做出选择追踪和反馈决策结果传达和执行决策1.决策就是为达到某一目标而在若干个可行方案经过分析、比较、判断，从中选择并赋予实施的过程据诺宾斯泰（Robenstein）将决策过程定义为五个步骤2.大数据平台的核心是数据，从数据生命周期看，大数据的生成、获取、整合、服务、应用、归档各个步骤分别有着不同的目标，并面临不同的问题3.从决策类活动过程和数据生命周期两个维度，对大数据平台的决策类活动的支撑能力需求进行分析产生应用获取整合服务归档应用整合应用服务获取整合大数据的存储和管理海量数据的快速分析海量数据的快速获取归档整合服务应用归档获取整合服务应用归档获取服务归档快速的数据服务执行简便的数据服务使用与生产系统在功能和数据分工上清晰合理与生产系统的及时交互决策执行业务活动中的数据支撑10.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServices大数据平台能力需求分析——分析类业务活动业务理解数据理解数据准备模型部署数据建模1.分析类活动是通过对数据的深入分析，力求取得更深刻业务洞察的过程，参考DM-CRISP数据挖掘方法论，包括业务理解、数据理解、数据准备、数据建模、模型评估和模型部署六个步骤产生应用获取整合服务归档应用整合应用服务获取整合归档整合服务应用归档获取整合服务应用归档获取服务归档模型评估应用整合获取服务归档评估数据能够嵌入到模型评估中，通过外部调用发现已经退化的模型11.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServices大数据平台关键能力需求——应用开发与运行1.当前总部BI系统的数据应用需求包括业务部门的计划性业务支撑需求和大量的临时性支撑需求，以及IT部门自身规划中的计划性支撑需求；2.省公司经分系统也需要支撑来自业务部门和IT部门的大量支撑需求，同时要完成集团下发的IT规范要求3.未来省公司数据集中后，大数据平台将必须承担省分公司和总部的全部数据应用服务需求省分公司当前数据应用需求集团总部当前数据应用需求省公司经分系统总部BI系统业务部门IT部门集团领导IT部门业务部门集团下发规范支撑需求临时支撑需求计划业务支撑需求计划IT支撑需求临时支撑需求省公司领导计划业务支撑需求计划IT支撑需求1.平台开发方面：如何支撑急速增长的数据应用需求2.平台执行方面：如何保障海量大并发的数据访问需求和海量数据处理的性能要求大数据平台将面临两大挑战•IT人力紧张•IT系统扩容难•IT投入效益难保障12.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServices大数据平台关键能力需求——更直接的决策支持未来大数据平台当前BI系统1.结构化决策：库存控制2.半结构化决策：套餐设计3.非结构化决策：产品外观设计鸿沟知识库(事实知识、规则知识、案例知识)OLAP应用数据挖掘应用固定报表应用灵活查询应用数字仪表板知识库(事实性知识)DWDDWAODS最优解绩效度量数据挖掘模型输入参数1.模型的建立基于预先假设2.模型所需数据事先确定已知3.模型是静态的模型的数学形式很完善，但往往不能符合实际业务情况仿真模型随机输入量终端补充量Q输入参数绩效变量约束条件决策计划目标函数DWDDWAODSDMDMDM非结构化数据仿真模型优化模型13.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServices3.大数据平台定位分析IBM大数据平台解决方案14.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServices前期初步确立的大数据平台目标技术架构目标架构：拥抱互联网、运用云计算技术，建立开放的基于SOA架构的中国企业集中化云数据服务支撑平台，面向全国各级经营主体和总部集中平台提供大数据、分布式、实时智能数据服务支撑与客户响应，并注重公共数据、公共能力的一点沉淀与全网共享，实现基于特定对象、特定需求的个性化自主定制、灵活组件组装，高效实现一级系统多维应用多级支撑总部目标集中生产系统应用统一访问门户透明管控科学运营价值创造生产类应用SaaS（软件）中间件即服务业务即服务ESBBPM组件集1……组件集2…组件集3报表工具联机分析工具挖掘工具PaaS（平台）数据即服务DW分析类数据生产类数据ODS/MDM统一IaaS服务接口小型机X86服务器高端存储中低端存储网络资源IaaS（资源）…SDK开发平台生命周期管控数据质量管控数据安全管控元数据管控指标体系统一视图CUBE开发工具近线区归档ETL元数据围绕三个维度：透明管控、科学运营、价值创造强调开放灵活：基于开放业务组件、应用开发平台、公共应用模型等构建，灵活支撑个性化应用开发、部署和推广实施五项管控：数据模型与标准、数据质量、数据安全、元数据、数据生命周期推行五个一点：一点源头采集、一点加工转换、一点存储、一点分析挖掘、一点服务提供数据模型标准管控15.©CopyrightIBMCorporation2011Airtel|IBM|ConfidentialBusinessConsultingServices基于技术架构目标，加入大数据平台建设的驱动力分析类系统应该建立多少数据库，多少种数据库保证数据从省分及时向集团提供准确唯一数据现存问