产品数据分析系统用户手册

产品数据分析系统用户手册V1.01系统介绍综合资源数据分析系统基于先进的BI技术，采用B/S架构，包含主题分析、专题分析、报表报告等多种分析功能，提供表格分析、趋势分析、同比、环比分析、分布分析、对比、关联分析等多种分析方法，使用人员还可以根据需要，自定义指标、维度、历史数据范围等，以多种直观、灵活的方式展现。实现短信、彩信、手机上网等重点业务端到端的质量分析；实现网络隐患的主动发现与溯源；实现多专业的日常分析和跨专业的网络专题分析；呈现资源瓶颈、呈现质量短板、呈现关联信息支撑生产和优化方案制定。综合资源数据分析系统面向维护、面向质量、面向经营，通过提取、整合专业网管、综合网管、业务管理、运维管理、市场支撑在内的各层面系统的信息资源，通过对信息深加工和智能化分析挖掘，提供“可视、可分析、可溯源”的能力。打通与BOSS系统接口，结合BSS数据进行跨域分析，解决网络资源的精确投放问题；综合资源数据分析系统提供灵活自定义功能实现多专业的日常分析和跨专业的专题分析，提升运行维护效率，同时也大大减轻了一线人员的压力。2系统设计2.1系统逻辑架构数数数数DW数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数OLAP数数MetaDBSysDB数数数数数数数数数数数数数数sqopODM-DBOriginalVendorSpecificCommon数数数数Avro(Serialization)Zookeer(Coordination)Pig(DataFlow)Hive(SQL)MapReduce(Jobscheduling/ExecutionSystem)Hbase(ColumnDb)HDFS(HadoopDistributedFileSystem)云计算基于高效的虚拟计算资源，应用程序，以灵活安全的方式达到快速扩展和缩减的效果，从而交付高品质服务。业务以及客户服务以相对简化的方式交付，这将大大推进立异和高效决议计划。因此综合资源数据分析系统也采取基于云计算的技术架构，采用了服务器池、存储池、网络及安全池架构虚拟化结构。2.2系统逻辑数据模型综合资源数据分析系统逻辑数据模型划分为五个主题域：客户主题域：描述各类参与人（个人、集团、团体等）在中国移动业务活动所处角色的各类信息，主要包括客户、客户性能；服务主题域：描述中国移动向客户提供的主要服务，主要包括服务、服务性能；资源主题域：资源是移动公司拥有的为客户提供服务的所有载体，主要包括资源、资源性能；公共主题域：主要包括基本类型、时间、位置、性能等等；企业效能主题域：企业效能主题域主要刻画企业内部资源的生产效率，包括网络的效率和运维人员工作的效率等等；各主题域之间的关系如下错误!未找到引用源。所示：资源性能企业效能客户性能客户0..*0..*0..*0..*服务性能空间服务0..*0..*0..*0..*10..*10..*资源0..*0..*0..*0..*0..*0..*0..*0..*时间性能0..*0,20..*0,210..*10..*基本类型ABE0..*0..*0..*0..*2.3系统模型结构综合资源数据分析系统服务各级管理、规划、维护、优化及网络分析人员以及希望了解网络数据的市场相关人员，实现匹配网络资源与业务发展，发现网络短板，优化客户感知，提升运行维护效率的目标，为企业运营决策和维护优化提供完整、及时、准确、科学的信息支撑，从而保障网络收益最大化，保持竞争优势。网络综合资源数据分析系统涵盖4大专业，3大网络和8大规模业务，聚焦网络问题，对问题进行层进实溯源分析，实现网络隐患的主动发现与溯源；重点实现语音、短信、彩信、WAP。CMNET和手机报的端到端分析；实现网络概览、网络运行分析、业务能力分析、客户全向分析、网络运营分析、热点聚焦等业务功能。3实现的功能3.1元数据管理3.1.1元数据基本功能本章节对元数据管理模块基本功能做出要求和描述，主要包括元数据基本维护、元数据变更管理、元数据查询、元数据统计、元数据质量管理和元数据权限管理。3.1.1.1元数据的基本维护元数据维护提供对元数据的增加、删除和修改等基本操作。对于元数据的增量维护，要求能保留历史版本信息。元数据的维护操作是原子操作，这些原子操作可通过服务封装的形式向综合资源数据分析系统的其它模块提供元数据维护接口。3.1.1.2元数据变更管理元数据变更管理包括变更通知和版本管理两个部分。变更通知是当元数据发生改变时，系统自动发送信息（邮件、短信）给订阅用户。用户可以主动订阅自己关心的元数据，帮助了解与自身工作相关的业务系统变更情况，提高工作的主动性。版本管理是对不同时期进入元数据库的同一实体的元数据进行管理。要求的基本功能是能够显示同一实体的元数据的修改历史。另外还提供版本差异分析和版本变更分析等。并且能够进行单个元数据版本的恢复。3.1.1.3元数据查询对元数据库中的元数据基本信息进行查询的功能，通过该功能可以查询数据库表、维表、指标、过程及参与的输入输出实体信息，以及其它纳入管理的实体基本信息，查询的信息按处理的层次及业务主题进行组织，查询功能返回实体及其所属的相关信息。元数据查询功能要求支持对历史版本信息的查询，以了解具体实体的历史变更情况。3.1.1.4元数据统计元数据统计是指用户可以按不同类别进行元数据个数的统计。方便用户全面了解元数据管理模块中的元数据分布，该统计功能可以按元数据类型、元数据创建者和元数据的版本号来进行统计。3.1.1.5元数据质量管理元数据管理模块应具备对元数据本身质量进行检查的功能。元数据质量检查包含但不限于以下内容：元数据一致性、元数据关系的健全性、元数据属性的填充率、元数据名称重复性、元数据关键属性的填充率和元数据关键属性值的唯一性。对于以上检查结果，元数据管理模块可生成详细的检查报告，并能够支持相关人员对检查报告的检索和查找，能够把指定的检查报告导出成Excel、PPT等更易于阅读的文档。元数据一致性检查一致性检查主要是指从运营分析系统中抽取元数据，并与元数据库的对应信息进行比较，及时发现运营分析系统的应用变更，保证元数据的及时更新。一致性检查包括两种方法：自动检查和人工检查。元数据关系健全性检查在运营分析系统元数据库中，除个别类型元数据之外，各类元数据之间都有着千丝万缕的联系，并且相互间的关联关系需要保持一致，不应出现空链或者错链的情况(即存在外键或链接，但所链接的内容不存在或错误)；运营分析系统各个子系统内部的元数据之间的关联也要保持一致；同时，子系统之间的元数据关联也要保持一致（不能出现某一个系统引用另一个系统中出现的元数据对象，却在另一个系统中找不到这个对象的情况）。元数据管理模块通过元数据的这些关系描述了运营分析系统的数据流向、过程依赖和业务承载等各种内在的规律。元数据关系是否健全直接影响到维护人员的问题判断和处理结果，直接影响着开发者对数据流向的分析和判断，因此，元数据管理模块必须在元数据的关联关系健全性方面作好保障检查工作。对于元数据关系健全性检查工作，可以从以下几个方面进行：数据处理关系检查数据处理关系是数据实体和数据处理过程之间的关系。数据处理关系检查是从元数据库中找出缺乏应有数据处理关系的数据实体和数据处理过程。例如，找出没有与任何数据处理过程建立数据处理关系的数据实体和找出没有与数据实体建立数据输入输出关系的数据处理过程。上下级关系检查上下级关系是在元数据库中对运营分析系统实体进行分级管理所形成的元数据关系，例如将指标按业务主题和业务子主题进行分级管理。上下级关系检查是在元数据库中找出存在不合理上下级关系的实体，例如找出没有与任何业务主体建立关系的指标。组合关系检查组合关系是运营分析系统实体之间的整体和部分关系，例如数据库表和字段之间的关系。组合关系检查时在元数据库中找出存在不合理组合关系的元数据，例如找出没有与任何数据库表建立关系的字段。元数据属性检查元数据属性检查是对元数据库中实体属性详细信息方面的检查，包括元数据属性填充率检查、元数据名称重复性检查和元数据关键属性值的唯一性检查等。对于元数据属性填充率检查，省公司可以根据自己的建设情况，抽样检查部分重要属性，原则上必须涵盖实体的关键属性。3.1.1.6元数据权限管理元数据模块的权限管理负责元数据管理功能的权限分派、审批以及访问日志记录，实现对元数据管理模块的数据访问和功能的使用进行有效监控。元数据管理模块的权限管理工作应纳入综合资源数据分析系统中统一管理。3.1.2元数据分析功能本节详细描述了综合资源数据分析系统元数据管理模块功能层的各个分析功能。本章节对元数据管理模块分析功能做出要求和描述，主要包括元数据血统分析、元数据影响分析、数据映射分析、差异分析和实体关联分析。3.1.2.1血统分析血缘分析（也称血统分析）是指从某一实体出发，往回追溯其处理过程，直到综合资源数据分析系统的数据源接口采集层。对于不同类型的实体，其涉及的转换过程可能有不同类型，如：对于底层仓库实体，涉及的是ETL处理过程；而对于仓库汇总表，可能既涉及ETL处理过程，又涉及仓库汇总处理过程；而对于指标，则除了上面的处理过程，还涉及指标生成的处理过程。数据源接口实体由源系统提供，作为综合资源数据分析系统的数据输入，其它的数据实体都经过了一个或多个不同类型的处理过程。血缘分析正是提供了这样一种功能，可以让使用者根据需要了解不同的处理过程，每个处理过程具体做什么，需要什么样的输入，又产生什么样的输出。为实现血缘分析，对于任何指定的实体，首先获得该实体的所有前驱实体，然后对这些前驱实体递归地获得各自的前驱实体，结束条件是所有实体到达数据源接口或者是实体没有相应的前驱实体。血缘分析应能够以图形的方式展现所有实体和处理过程。3.1.2.2影响分析影响分析是指从某一实体出发，寻找依赖该实体的处理过程实体或其他实体。如果需要可以采用递归方式寻找所有的依赖过程实体或其他实体。该功能支持当某些实体发生变化或者需要修改时，评估实体影响范围。影响分析应能够以图形的方式展现所有实体和关联关系。3.1.2.3数据映射分析用户能够查看数据处理程序内部的映射关系，了解数据加工过程的细节。以图形展现数据的处理过程。3.1.2.4差异分析实体差异分析是对元数据的不同实体进行检查，用图形和表格的形式展现它们之间的差异，包括名字、属性及数据血缘和对系统其他部分影响的差异等。3.1.2.5实体关联分析实体关联分析是从某一实体关联的其它实体和其参与的处理过程两个角度来查看具体数据的使用情况，形成一张实体和所参与处理过程的网络，从而进一步了解该实体的重要程度。本功能可以用来支撑需求变更影响评估的应用。对于关系数据表，可以分析与某个表有关的实体或处理过程，查看具体数据的使用情况，从而判断该表的重要程度。该功能有助于寻找数据库中关键表和冗余表，为系统调优提供支持。3.2数据质量管理3.2.1数据质量监控3.2.2数据质量问题处理数据质量问题处理包括问题生成（来源）、问题分析、问题处理和问题总结四个环节，下面分别表述。3.2.2.1问题生成按问题生成途径可以把数据质量问题分为以下几种：数据质量监控生成的问题数据质量监控根据预先配置的告警转问题规则，可由系统自动将一定级别的告警转为数据质量问题；也可以在告警处理过程中手工方式将告警转为问题。数据质量监控生成的问题主要由告警信息组成，问题发现时间为告警产生的时间。数据质量评估发现的问题通过对数据质量一段时期的评估，可能从中发现一些数据质量问题，通过数据质量问题提交接口（界面）提交数据质量评估问题。业务人员或维护人员手工提交的问题综合资源数据分析系统的业务人员或维护人员在日常工作过程中也会发现数据质量有关的问题，使用人员可以通过问题提交功能记录数据质量问题。可以通过EOMS进行问题工单的流转也可以通过数据质量模块的问题录入界面进行问题的录入。在以上三种数据质量问题中，数据质量监