搜索
大数据平台解决方案规划天云科技2011年11月议题第2页大数据平台概述大数据平台架构多类型数据集成大数据混合式存储架构IaaS层：资源管理和模块化数据中心PaaS层：大数据平台SaaS层：行业解决方案大数据平台概述第3页大数据平台主要通过集成中国联通内部运营支撑系统和外部数据，包括交易型大数据（BigTransactionData）和交互型大数据（BigInteractionData），通过多种云计算的技术将之集成和处理，向中国联通内部和外部企业客户提供有极大商业价值的信息支撑和智能解决方案。大数据服务能够在哪些方面为企业客户提供价值？第4页营销精准广告实时营销效果评估优化客户服务客户需求洞察客户满意度管理客户忠诚度管理渠道渠道选址渠道业绩管理客户接触管理合作渠道欺诈监测风险控制物流其它物流监控物流优化物流预测关键点监控预警绩效监控…使整个企业进入大数据智能时代大数据服务面向的三类企业客户第5页DataWarehouseasaServiceStep2Step3•面向起步型企业，数据规模较小，并且难以负担建设分析型系统的投入成本，没有深入的分析需求，手工即可分析。随着企业成长可以使用更高级的服务•面向成熟一些的中小型企业，数据规模中等，单独建设系统加上管理系统维护团队以及购买分析软件的单位用户成本较高，有分析需求和分析人员AnalyticsasaServiceIntelligenceasaService•面向中型企业，管理上走向成熟，数据规模中等，除了有较深入的分析需求外，还有对行业深度了解和预测的需求大数据平台的三种服务交付方式第6页大数据服务DataWarehouseasaServiceAnalyticsasaServiceIntelligenceasaServiceDataWarehouseasaService数据仓储即服务第7页为企业提供数据仓库SaaS服务，帮助企业将数据进行清洗、校验和梳理，为企业提供适合的数据存储和数据库解决方案，以及提供数据访问接口和数据安全管理等，为企业的分析型应用提供支撑基础设施以服务的方式提供企业分析型系统构建所需的硬件，包括服务器、存储、网络设备等数据仓库解决方案根据企业的数据类型和应用方向选择合适的数据存储解决方案，包括数据库等实施服务同时提供数据仓库实施服务，解决中小企业缺乏数据仓库领域的专门人才及维护这样一个团队的高成本问题DataWarehouseasaService的服务交付方式第8页多类型数据集成大数据存储数据访问接口管理•大数据的“多类型数据集成”模块将企业的业务数据从企业的IT系统中抽取出来，经过清洗、规整、校验等环节，以及根据需要进行初步的汇总，进入大数据存储；•根据数据类型和处理需求，选择合适的存储方案，包括RDBMS，Hadoop等；•大数据存储中的数据通过访问接口提供给企业的IT部门，供企业多种使用方式；企业的业务系统IT人员通过接口使用数据AnalyticsasaService分析平台即服务第9页为企业提供分析平台SaaS服务，基于企业托管的数据仓库提供报表、及多种分析工具，包括即席分析、数据挖掘、垂直解决方案等，帮助企业实现基于大数据的智能决策和智能管理等。报表以服务的方式提供企业所需的KPI及反映企业各方面运营状况的的指标和报表，图形化展现和多种访问方式分析工具提供企业所需的即席分析和数据挖掘等分析工具，使企业能够灵活的对业务进行分析垂直解决方案提供一些典型的垂直解决方案，如客户统一视图，精准营销等，针对企业典型的业务场景提供解决方案AnalyticsasaService的服务交付方式第10页多类型数据集成大数据存储大数据分析平台企业的业务系统管理人员和业务分析人员通过portal使用分析平台报表分析工具垂直解决方案•在企业基于大数据平台建设的数据仓库的基础上，提供KPI&Dashboard，报表工具，分析工具，以及行业垂直解决方案；•提供企业的分析解决方案结合企业的实际需求进行的解决方案实施服务；•企业的管理人员、业务分析人员等可以通过web、手机或其它移动设备访问大数据平台的门户，以便随时了解企业的关键指标和进行深度业务分析；IntelligenceasaService智能即服务第11页基于中国联通具有的大数据资源，经过去隐私化，为企业提供行业解决方案和市场及其它信息咨询服务等。将中国联通的大数据资源转化为商业价值，服务于各个行业的企业客户。行业解决方案为典型行业，如零售、广告、电子商务等行业的企业客户提供解决方案，解决这些企业运营中面临的典型业务问题信息咨询服务向企业客户提供基于中国联通大数据的咨询服务和分析报告，通过最权威的数据反映行业趋势，使企业准确判断行业趋势，预测未来走向IntelligenceasaService的服务交付方式第12页多类型数据集成大数据存储大数据分析平台企业的业务系统管理人员和业务分析人员通过portal使用分析平台行业解决方案行业分析报告•在大数据平台的基础上面向企业客户提供典型行业解决方案，并通过专业市场和管理咨询服务团队提供咨询服务，根据实际业务需求，并充分利用大数据的优势，快速开发需要的业务问题解决方案；•根据企业的需求，基于大数据资源，定制提供行业级的分析报告，为企业预测未来趋势提供最具科学依据的参考。议题第13页大数据平台概述大数据平台架构多类型数据集成大数据混合式存储架构IaaS层：资源管理和模块化数据中心PaaS层：大数据平台SaaS层：行业解决方案系统边界第14页大数据平台中国联通省级BOSS系统中国联通省级CRM系统中国联通电子渠道系统中国联通集中化大数据平台企业客户的业务系统网络数据采集中国联通用户上网数据采集中国联通信令数据采集系统点击流数据采集S1S2S3S4S5S9S7S8I1I6I2I3中国联通SMS/MMS等渠道I4I5S6源数据接口S1-S8第15页接口名称接口方向接口数据接口方式S1中国联通省级BOSS系统—大数据平台用户资料、CDR、账单、业务订购等文件S2中国联通省级CRM系统—大数据平台客服数据等文件S3中国联通电子渠道系统—大数据平台业务办理、详单查询、账单查询等用户行为文件S4中国联通用户上网数据采集—大数据平台用户手机上网行为数据数据流S5中国联通信令数据采集系统—大数据平台信令数据数据流S6企业客户的业务系统—大数据平台业务数据文件、数据流S7网络数据采集—大数据平台网页内容等数据S8点击流数据采集—大数据平台用户访问外部网页的点击流数据文件S9中国联通集中化大数据平台—大数据平台经分数据文件互动接口第16页接口名称接口方向接口数据接口方式I1大数据平台—中国联通省级BOSS系统营销相关信息等文件I2大数据平台—中国联通省级CRM系统客户特征视图、客服优化或营销相关信息等文件I3大数据平台—中国联通电子渠道系统大数据平台业务推荐、内容推荐等信息文件I4大数据平台—企业客户的业务系统业务解决方案相关信息文件、数据流I5大数据平台—中国联通SMS/MMS等渠道营销信息数据流I6大数据平台—中国联通集中化大数据平台支撑经分系统的数据文件三级平台架构第17页一级大数据平台二级大数据平台省级数据集成平台一级大数据平台数据中心二级大数据平台数据中心A接口机接口机MDCN广域网MDCN广域网数据中心BA省大数据采集和集成系统B省大数据采集和集成系统某省大数据采集和集成系统三级平台功能架构第18页内部源系统数据接口网络数据采集其它数据接口结构化数据集成非结构化数据集成流数据集成省级数据集成平台二级大数据平台二级区域大数据混合式存储与处理一级大数据存储平台二级PaaS平台二级SaaS平台一级PaaS平台一级SaaS平台一级大数据平台三级平台功能架构（续）第19页•省级数据集成平台主要对数据进行采集、清洗、转换，以及初步的汇总；•对结构化数据，保持其初始的数据粒度，并进行映射，统一数据模型；•对非结构化数据，进行处理，转化为结构化数据；•对流数据，进行实时处理；•二级大数据平台包括多个数据中心，主要对区域性的数据进行加工，并向区域性的企业提供解决方案；•多数据中心覆盖不同的区域，主要向该区域的企业客户提供服务；•向一级平台提供接口，并接受一级平台对数据处理需求的调度；•一级大数据平台主要对数据进行跨区域的汇总，并提供标准的解决方案，供各区域在此基础上定制各自的解决方案；二级大数据平台功能架构第20页DataSourceDataIntegration结构化数据集成BigdataPlatform流数据集成非结构化数据集成HadoopRDBMSColumnDBNOSQLAnalyticCapability用户价值使用行为地理位置上网行为消费行为内容偏好时间特征社交网络影响力…Vertical/IndustrySolution实时营销客户忠诚度管理渠道选址内容定制推送…电信行业解决方案广电行业解决方案电子商务行业解决方案公共安全行业解决方案物联网行业解决方案PortalWebMobileWidgetInfoPush省级数据集成平台Web数据其它外部数据安全管理用户管理生命周期管理资源管理SystemManagement开发管理二级平台各层的功能第21页•数据集成层•从省级数据集成平台获取已经清洗和初步集成的结构化数据，包括联通内部系统提供的结构化数据，以及从非结构化数据转化而来的结构化数据；•对非结构化数据处理，转化为结构化数据，并在省级数据集成平台之间及区域二级大数据平台之间进行同步；•对相关的流数据进行处理；•大数据存储层•根据数据特点和应用的需求，将大数据进行混合式的存储和处理，满足上层应用的需求；二级平台各层的功能（续）第22页•大数据平台分析能力层•提供基础分析能力和解决方案的开发环境和运行环境；•提供丰富的基础分析能力，可以在此基础上快速开发解决方案；•解决方案层•提供垂直解决方案和行业解决方案；•解决方案可以独立开发也可以在一级解决方案模板的基础上进行二次开发；•访问门户层•提供多种访问方式，包括web、移动设备、widget、SMS、MMS等；•统一的访问入口和鉴权；•系统管理•包括安全管理、用户管理、开发管理、应用生命周期管理、元数据管理等；集成架构第23页DataSourceDataIntegration结构化数据集成BigdataPlatform流数据集成非结构化数据集成HadoopRDBMSColumnDBNOSQLAnalyticCapability用户价值使用行为地理位置上网行为消费行为内容偏好时间特征社交网络影响力…Vertical/IndustrySolution实时营销客户忠诚度管理渠道选址内容定制推送…电信行业解决方案广电行业解决方案电子商务行业解决方案公共安全行业解决方案物联网行业解决方案PortalWebMobileWidgetInfoPush企业内部系统数据Web数据其它外部数据安全管理用户管理生命周期管理资源管理SystemManagement资源管理多类型数据的集成工具Hadoop、关系型数据库、列数据库等多种数据存储解决方案大数据平台垂直解决方案、行业解决方案大数据平台、数据可视化工具大数据平台议题第24页大数据平台概述大数据平台架构多类型数据集成大数据混合式存储架构IaaS层：资源管理和模块化数据中心PaaS层：大数据平台SaaS层：行业解决方案数据集成在大数据平台中的位置第25页DataSourceDataIntegration结构化数据集成BigdataPlatform流数据集成非结构化数据集成HadoopRDBMSColumnDBNOSQLAnalyticCapability用户价值使用行为地理位置上网行为消费行为内容偏好时间特征社交网络影响力…Vertical/IndustrySolution实时营销客户忠诚度管理渠道选址内容定制推送…电信行业解决方案广电行业解决方案电子商务行业解决方案公共安全行业解决方案物联网行业解决方案PortalWebMobileWidgetInfoPush省级数据集成平台Web