通信-综合资源数据处理培训资料

2019/8/17Inspurgroup综合资源数据处理培训资料2/632019/8/17Inspurgroup三、智能校验二、资源自动采集目录四、传输数据处理一、数据维护3/632019/8/17Inspurgroup如果网络从来不变化，那么所有网管系统都将获得成功！然而，世界是永恒运动的，中国移动的网络更是如此。。。唯一不变的是变化，只有变化才真正体现价值！1）资源本身的增减2）资源名称属性的变化3）资源关联关系属性的变化4）资源统计属性的变化5）资源状态属性的变化网络割接调整网络扩容网络优化网络管理和分析的变化和深入1）资源新增2)资源关联关系属性的变化3）父资源统计属性的变化1）资源特征属性的变化2）资源统计属性的变化3）资源状态属性的变化1）资源特征属性的变化2）资源统计属性的变化3）逻辑资源的调整和变化即便网络不动，倘若对网络的分析和管理发生了变化，资源属性也会发生变化！资源管理系统如何应对不断变化的网络，保证数据的准确和及时?数据维护-概述4/632019/8/17Inspurgroup不像一些纯IT系统，资源管理系统的建设和运转，在很大程度上依赖于各级管理和维护人员的支持和投入；因此，必须通过技术手段和管理手段相结合，实现生产力和生产关系的统一管理手段：资源的命名规范资源数据的静态录入和变更管理资源调度流程资源数据质量的管理考核资源管理系统的应用推广资源管理系统建设的组织保证技术手段：资源数据模型的管理维护资源的自动发现资源数据的动态采集更新资源数据的历史管理对资源共享应用的技术支持技术手段是基础，管理手段是核心，相互依赖数据维护-概述5/632019/8/17InspurgroupeOMS工单调度执行网络调整维护人员主动更新资源配置信息网管系统自动发现变化维护人员根据提示确认网络变化并填补数据资源数据库网络调整完成主动维护被动维护割接/扩容/搬迁/升版/局数据修改/其他数据维护-维护方式6/632019/8/17Inspurgroup数据维护-资源系统数据维护为了保证资源数据的准确性和及时性，数据维护采取手工维护和自动采集相结合的方式。手工维护方式简洁、便于操作，批量导入导出功能，操作方便，能有效保证导入数据的准确性和导出数据的完整性。通过定制自动采集，可以对资源属性进行自动采集更新。每一次的自动采集都有日志记录，以查看资源数据采集情况。采集失败的任务可以执行数据补采，以确保某一周期内资源数据的准确性、完整性。为满足网络资源完整性的需要，智能校验管理功能，对违反完整性规则的网络资源以列表形式呈现。7/632019/8/17Inspurgroup数据维护-资源系统维护范围话务网：TDM交换机、软交换、BSC、HLR、BTS、CELL、直放站、室内分布系统、应急通信车、中继端口、信令终端、信令路由、信令链路组、中继群；信令网：STP；数据网：GGSN、SGSN、PCU、GPRSVPN业务、CDS、路由器、交换机、防火墙；传输网：传输网元、通道、通道时隙、段、传输子系统、通道路由、PTP、CTP；智能网：SMP、SCP、SSP、VC、AIP、VRS、VRB、网路设备；短消息：短消息中心、短消息网关；客服：客服中心、交换机设备、计算机设备；配套设备：交换配套设备、基站配套设备、其他配套设备；备品备件；网管设备：网管服务器（即OMC）、网管工作站、操作维护终端；硬件资源：机架、机框和单板；空间资源：局站和机房；8/632019/8/17Inspurgroup数据库资源管理RMS•多种录入方式减少手工录入工作量，同时提高数据的准确性•既可以批量录入，又可以单个对象录入已有数据批量录入Excel导入工具手工采集客户端工具手工录入已有数据新增数据数据维护主要途径database中间数据库自动采集遵循集团接口规范DB转换工具网元直连其它系统统一接入平台OMC采集数据维护辅助途径•变更流程管理•工程状态管理•割接流程管理•灰名单管理•数据有效性校验•短信维护通知•资源预警通知数据维护流程9/632019/8/17Inspurgroup三、智能校验二、资源自动采集目录四、传输数据处理一、数据维护10/632019/8/17Inspurgroup资源自动采集-采集流程数据采集及处理大致可以分为数据采集（形成标准文件）、数据分析（PERL分析）、数据入库（LOAD入库）和数据汇总（SQL）四个步骤。采集归一化处理DB/网元/OMC入原始表数据提取和关联DB11/632019/8/17Inspurgroup数据流转流程图通过采集系统生成以文件为载体形式的数据原始数据库（分厂商）PERL分析经过处理的原始数据库（区分厂商）需特殊处理的数据导出PERL对导出数据处理变更流程正式库其它上层应用12/632019/8/17Inspurgroup通过采集系统将数据以文件的形式采集下来以后，系统通过PERL进行分析，通过任务定制程序根据调度时间自动调用脚本对数据进行分析、入库、汇总。及时反映网管信息。程序在UNIX系统环境下运行，以SHELL脚本的方式实现各流程的调用。通过PERL脚本实现数据分析。通过SHELL+SQL实现数据的入库，通过SQL语句实现汇总。最终完成数据的展现，及时反映现网情况。数据接入流程概述13/632019/8/17Inspurgroup一、命令方式采集该采集方式为目前较为常用的采集方式，具有数据时效性高，准确性好的特性。由于我们直接从交换机获取数据，减少了中间数据流转的流程，数据的可信任程度比较高，这种数据获取方式也是我们首选的采集种类。但是，由于此种采集方式直接与交换机交互，如有误操作可能对交换机造成不可逆转的影响。所以如要使用此种方式采集，应在用户许可的前提下，通过特定账户，在特定时间内使用指定命令进行数据采集。此种采集方式的原理为登陆交换机发送特定命令后，交换机会反馈相应信息在屏幕上，且当反馈接收后不同厂商会有特定的命令结束标志。根据不同标志拷贝屏幕并保存为文本文件以供系统分析使用。目前可以通过采集调度系统或者我们自己编写的PERL工具来配置信息获取文件。数据采集的种类14/632019/8/17Inspurgroup资源自动采集-集中代理集中代理给登陆代理系统的用户提供了一个风格、模式统一的操作维护平台，使用户摆脱网元的IP地址、端口号、用户名、密码等登陆参数及烦琐登陆步骤的限制。集中日志，所有登陆用户的操作维护活动都被同步记录到日志文件中和数据库中，以备事后监督使用。集中鉴权，可按安全管理模块配置权限情况控制用户可登陆哪一个网元，在山东移动项目更实现了命令级的鉴权，即可以控制用户在具体网元上可发送哪些命令。用户活动跟踪，可让高级用户实时监控其他用户在网元上的活动（监控所发命令和返回数据），在必要时可以杀掉该用户，保证网元完全。消息互通，登陆用户可以在代理系统上互相发送文本消息，完成交互功能。不但可满足操作维护工作，还可支持“集中采集程序getfile_proxy”完成资源管理、局数据、网元巡检等模块的数据采集工作。15/632019/8/17Inspurgroup集中化的数据采集程序，依托代理系统proxy，仿真普通的代理系统用户工作。适合于能提供命令行方式的操作维护接口的设备，使用命令交互方式（即发采集命令，接收返回数据）实现数据采集工作。不但可用于资源管理数据的采集，还可用于局数据、网元巡检等方面的数据采集，目前这三部分的数据都由该程序实现。一般在调度系统的驱动下运行，自动完成数据采集工作。也可以用手工方式运行，运行格式如下:getfile_proxy–nenamene-cmdidID-sessidID-outdirDIR-cmdstr“[命令字符串]”。通过标准输出报告采集任务完成与否。资源自动采集-集中代理程序16/632019/8/17Inspurgroup二、数据库方式采集此种采集方式为湖南、贵州及联通一些运营商较为常用。尤其涉及多厂商配合建设资源的情况（例如：贵州底层采集由亿阳负责，上层应用由浪潮负责）。这时数据库的采集方式便成了最合适的跨系统数据传输平台。经过多年建设，我们此种采集方式系统已涵盖了INFORMIX、ORACLE、SYBASE三种比较常用的数据库，且完善形成了工具性的采集系统。通过配置相应信息便可完成数据采集。这种工具在后面的常用工具一章中会详细解释。使用此种采集方式应注意两点问题：1、采集应给底层数据准备留出足够时间，避免底层数据还在生成过程中便启动采集造成锁表。2、采集应在保证不锁表的前提下尽量提前，给资源汇总留出足够时间。数据采集的种类17/632019/8/17Inspurgroup三、文件方式采集文件大致分为四种：文本文件、DB数据库文件、XML文件、EXCEL文件。此种采集方式为三种方式中相对简单的一种，通常与FTP或SMBClient配合使用，需要注意的是SMBClient为跨系统文件系统访问接口（例如UNIX系统访问Windows系统文件），需要在UNIX系统下以root用户相应配置才能生效。而且在文件分析时需要安装相应的PERL模块方可识别不同的文件格式。使用时注意两点：1、过期历史文件的垃圾删除功能。2、文件的互斥访问功能（防止文件生成过程中被获取过来，造成数据丢失）。目前辽宁传输资源数据的采集就是通过文件方式实现，数据文件由直真采集并放到浪潮相应的文件目录下，数据分析和入库由浪潮来处理。数据采集的种类18/632019/8/17Inspurgroup资源自动采集-采集策略通过采集任务管理平台来实现资源数据的自动采集、手工补采、采集任务监控、采集任务调度，通过任务定制界面将该采集任务保存到数据库中，通过任务调度完成数据库中该任务的调度解析，最后通过集中代理完成命令自动定时采集。19/632019/8/17Inspurgroup资源自动采集-采集任务查询20/632019/8/17Inspurgroup按方案查询：资源自动采集-采集任务查询21/632019/8/17Inspurgroup按任务查询：资源自动采集-采集任务查询22/632019/8/17Inspurgroup按网元查询：资源自动采集-采集任务查询23/632019/8/17Inspurgroup按采集结果查询：资源自动采集-采集任务查询24/632019/8/17Inspurgroup资源自动采集-手工调度能被手工调度的元任务实例需要满足一定条件。不满足调度的原因会右面用红色标记出。未运行（正在运行的元任务实例不能被调度）；已激活（未激活的元任务实例不能被调度）；未调度（已手工调度但还未被执行的元任务实例不能被调度）；调度次数不超过2次（调度次数超过2次的元任务实例不能被调度）。25/632019/8/17Inspurgroup选中要手工调度的元任务实例，点击手工执行按钮，出现时间设置输入框，输入调度时间（也可以默认），点击确定按钮。资源自动采集-手工调度26/632019/8/17Inspurgroup出现设置成功提示页面，表明手工调度设置完成。资源自动采集-手工调度27/632019/8/17Inspurgroup采集系统的产出物必定为以文件为载体的数据。但文件的命名必须有一定的规范。文件名包含多种信息，以“＃”分隔。形式为：网元类型＃厂商标识＃网元名字＃命令标识＃采集时间＃进程号＃是否成功标识.src其中是否成功标识0代表采集成功，1代表采集失败。采集时间精确到秒。例如：MSC#SIEMENS#MSC1#statmp#20070804003000#1471#0.src为什么以此种方式命名？一、此种命名方式可以唯一确定一个最小粒度的命令，以上面说明为例，文件给出了我们这样的信息：该文件为向西门子命名为“MSC1”的MSC网元发送命令标识为“statmp”的命令生成的数据文件，文件采集时间为2007年8月4日3点整，采集结果为成功。一目了然。二、此种命名方式方便系统自动判断文件入库的表名称。在后面的文件入库章节中将会讲到。采集系统产出物28/63