搜索
网络质量是通信企业生命线网络资源数据中心解决方案2020年5月目录一、数据中心的背景二、关键问题三、方案架构OSS的数据共享需求数据标准名称消费数据的系统数共享数据的系统数管理数据的系统数资源2255性能141111工单1045告警977测试335信令212话单223其他114投诉111主要发现：资源/性能/工单/告警的数据共享需求最多；存在大量的应用需要同时从两个或以上的系统获取同类数据的情况（且需要共享的数据的集中程度不够），告警/性能/资源类数据情况尤为突出。因此性能、告警、工单、资源类数据的共享需求最高从ESB发布共享服务类型，性能、告警与资源三项总和超过90%传输网管数据网管综合分析天气预报话务网管经分网优综合监控统一采集EOMS集中操作维护投诉系统信令系统综合资源系统拨测路测数据共享情况复杂以综合监控、综合分析、网优系统为例：共享接口繁多：每个系统建设会涉及到10个以上的系统接口，交叉共享接口技术复杂：MQ/SOCKET/WS/数据库/文件等数据重复共享：资源、性能、工单、投诉等数据会多次重复共享动环管集团网络工作会议-网管支撑系统技术架构整合应用层统一采集平台数据共享平台综合监控综合资管综合分析综合资管综合监控综合分析应用数据采集应用数据采集应用数据采集优化整合网管技术架构，试点统一采集平台、共享数据平台，实现网络数据统一采集、集中存储、有效整合，实现网元、网络、业务、客户四个层次分析，满足四网协同、流量分析等一体化、综合化分析需求；同时，积极探索使用云计算和大数据技术，提升海量数据采集、存储、处理与分析的效率网络数据共享平台试点网络质量数据共享平台：对话统、MR、信令/拨测/路测/流控、投诉、话单等多源数据统一集中管理和开放，实现数据与应用分拆，支撑更丰富的上层应用，请广东牵头、北京与福建配合，江苏牵头、天津与辽宁配合，6月底前完成试点网络资源数据共享平台：请江苏、广东、南方基地开展预研，11月底前完成网管统一采集平台试点-通过网元直连、OMC、设备代理等方式采集各专业网络设备的配置数据、告警数据、性能指标数据，为上层系统提供统一标准的数据接口。-请江苏、北京、广东6月底前完成试点技术架构整合，数据集中共享资源数据中心的目标数据共享和开放•建立统一的ods模型和dw多维分析模型，形成企业级标准数据，并明确基础数据的处理职责•通过ESB规范数据共享模式和接口服务，为综合类应用提供标准、开放的运营数据支撑接口数据管理和应用•建立数据采集、数据处理、任务调度能力和分级存储架构•优化数据管控，引入模型管理、全生命周期管理方法•元数据、数据质量、安全管理等支撑管理手段数据模型架构解耦数据生产与数据使用、通过分层划域构建统一规范的数据模型数据管理平台具备统一采集、处理、分级存储、数据共享、元数据、数据质量、安全管理等平台能力数据管理体系支撑数据全生命周期管理、迭代优化、不断扩展完善，形成完整的数据管理体系数据中心建设模式数据中心构建方式一：信息整合技术数据中心构建方式二：数据仓库技术数据中心构建方式三：主数据管理技术目录一、数据中心的背景二、关键问题三、方案架构从多个系统如何快速稳定的采集数据？多样化的、大规模的数据如何有效的组织管理？面对多样化的系统、多样化的数据如何选取接口方案？为了实现各项功能需要哪些系统提供哪些数据？针对大规模的数据如何满足数据分析与查询访问的需求？数据采集数据处理与存储应用数据源采用什么样的系统架构才能较好的支撑各种应用场景？本系统方案关键研究要点1234561数据源分析数据采集数据处理与存储应用数据源资源数据中心南方基地4省镜像库南方基地4省综资数据库江苏镜像库江苏综资生产库广东镜像库广东综资生产库•任务动态分配•灵活配置采集策略，充分利用采集节点平滑扩展•通过集群技术保障高可靠性，不存在单点隐患•集群的并行处理提升系统性能、吞吐能力•抽取、清洗、转换、装载多环节进行数据质量监控并行处理模式•采集节点的灵活伸缩•采集范围的灵活伸缩•采集性能的灵活伸缩•提升高可靠性利用Iaas的云计算技术实现以基于云上的多采集机并行处理模式实现采集处理高性能；IAAS采集软件服务器资源任务1任务2任务3任务负载均衡采集平台任务管理数据采集数据处理与存储应用数据源3如何快速可靠获取数据5-数据共享(ESB)－数据地图逐步建立OSS全局数据地图掌握各系统数据分布情况，根据数据类别可快速定位支撑系统和服务通过SDP实现数据共享能力输出数据采集数据处理与存储应用数据源ConfidentialandProprietary–BOCOInter-TelecomCo.,Ltd.5-1数据共享(ESB)－数据服务封装服务配置器服务调用动态客户端选择数据内容配置服务端代码：将通信协议、报文、数据获取处理、等封装生成服务端开发框架，使服务开发者更加快捷开发服务，从而节省开发成本客户端代码：生成统一服务调用接口的客户端代码及使用说明文档，提供服务使用方下载应用到系统框架中，提高服务使用方的开发效率数据采集数据处理与存储应用数据源5-3服务目录管理(ESB)-服务信息管理1服务基础信息服务接口及数据模型服务实体文档：规约类/测试类/描述类5-5服务管理-服务目录管理厂商维度：以厂商/系统对服务进行划分ODM维度：以业务视角对服务进行划分服务应用类型服务交互的数据类型专业类型数据处理计算框架MapReduce•相关产品:–Hadoop-HIVE–Hadoop-PIg•提供MR接口：–Mongodb–Hbase–python目录一、数据中心的背景二、关键问题三、方案架构数据中心系统边界数据模型架构复合资源协议软件网络地址辅助动力传输数据交换智能无线管线空间资源物理资源逻辑资源面向资源的业务业务网络资源公共资源数据模型架构省份模型专业模型核心模型核心库目标库专业属性扩展通用对象扩展专业模型物理模型系统表元模型核心基础模型数据中心的功能架构网络质量是通信企业生命线谢谢！