基于数据仓库的联通经营分析系统的设计和实现

贵州大学硕士学位论文基于数据仓库的联通经营分析系统的设计和实现姓名：王世水申请学位级别：硕士专业：软件工程指导教师：王翰虎20080501基于数据仓库的联通经营分析系统的设计和实现作者：王世水学位授予单位：贵州大学相似文献(10条)1.学位论文吕海燕数据仓库在电信经营分析系统中的应用研究2008近年来，电信行业信息化进程得到快速发展。运营网络系统、综合业务系统、计费系统、办公自动化等计算机应用系统的相继使用，企业中积累了大量的历史数据。但在很多情况下，这些海量数据在原有的作业系统中是无法提炼并升华为有用的管理决策信息的。一方面，联机作业系统因为需要保留足够的详细数据以备查询而变得笨重不堪，系统资源的投资跟不上业务扩展的需求；另一方面，管理者和决策者只能根据固定的、定时的报表系统获得有限的经营与业务信息，无法适应激烈的市场竞争。数据仓库为企业海量数据进一步信息化提供了有效的解决方案。与传统的数据库技术相比，数据仓库为决策分析提供了更好的支持，跳出了传统联机事务处理的范畴，因此近几年来数据仓库技术发展很快，并在各个行业都得到了很多的应用。相对于国外大中型企业，我国企业的数据仓库建设目前还处于起步和探索阶段，在电信企业这样大型的信息化产业内部建设数据仓库应用，对技术更是提出了更高的要求。本文首先深入分析了电信企业目前面临的困难和挑战，进而提出了电信行业建立基于数据仓库的经营分析系统的必要性。其次，在深入研究数据仓库及经营分析系统技术的基础上，对电信企业经营分析系统数据仓库模型进行了详细的分析和设计，主要是结合电信企业业务的特点，给出了适合大多数电信企业目前实际需求的按五个主题(客户、产品、话务量、帐务、市场营销)划分的数据仓库模型，同时对模型中数据粒度的划分，数据的抽取、转化和加载(ETL)给出了详细地分析与设计。最后通过应用实例一收入预测分析，利用SQLServer数据仓库开发工具实现了数据仓库模型的构建，并基于所构建的模型对某电信企业某年的收入作了简单的预测。预测的效果验证了所构建的数据仓库模型满足电信经营分析系统的相关需求和业务分析。2.学位论文曹爱华数据仓库技术研究及在电信经营分析系统的应用2006电信运营企业是高技术密集型企业，也是较早使用数据库和数据库管理系统的企业，在多年的运营中积累了大量的历史数据。同时现在电信行业的竞争正变得越来越激烈，如何拓展市场，如何保有老用户，如何争取新的用户等已经成为电信企业面对的重要问题．电信企业拥有的大量数据中可能蕴藏着回答这些问题的答案，但是现在并不能直接地获取。因此，电信企业对于将积累的大量历史数据转变为可以支持决策的知识的经营分析系统的需求越来越强烈。数据仓库中的专题分析主要是探索业务部门比较关注的部分业务发展情况，实现对业务发展的跟踪和业务预演，抽取出潜在的，有价值的知识、模型或规则的过程。对于企业而言，专题分析可以有助于发现业务发展的趋势，揭示已知的事实，预测未知的结果，并帮助企业分析出完成任务所需的关键因素，以达到增加收入、降低成本，使企业处于更有利的竞争位置的目的。本论文的主要内容包括对基于数据仓库技术的电信经营分析系统的研究和作者在电信经营分析系统的设计和实现中所做的工作。可以分为如下两部分：1、首先介绍了某电信经营分析系统的设计；然后重点讲述了该系统中的数据抽取及转换模块的设计实现过程，对项目中话单抽取时遇到的问题提出解决方案，并给出了改进的数据转换模块结构的设计。2、是对专题分析模块中资费分析的研究，首先是对资费分析的调研，明确问题方向，提出解决方案，然后，针对该运营商的话单数据进行了分析。该文所描述的经营分析系统已经在某电信正式上线运行。3.学位论文张国祚DW、OLAP和DM在电信经营分析系统中的研究与应用2005为了提高电信行业工作效率和服务质量，建立灵活的营销机制，适应新业务的开展和激烈的市场竞争，商业智能开始进入电信行业，电信经营分析系统应运而生。本文的目标就是在基于电信经营分析系统下，研究数据仓库、联机分析处理及数据挖掘理论与实现。　　本文首先简要概述了数据仓库、联机分析处理及数据挖掘技术特点，给出了数据仓库的设计步骤，分析了数据仓库的体系结构，讨论了联机分析处理体系结构及多维分析中的切片、钻取、旋转操作，描述了数据挖掘过程，给出了数据挖掘常用技术和算法；随后分析了经营分析系统的建设背景、建设原则和系统功能；接着介绍了系统数据架构，重点讨论了数据抽取、转换、加载技术的实现过程；另外还建立了多个面向主题的分析模型并在经营分析系统中进行了展现。　　本文最后研究了数据挖掘中聚类分析，对聚类方法进行了分类，给出了聚类方法比较标准，并对常用聚类算法进行了比较；接着将聚类分析中K-means算法应用于电信客户分群，由于该算法对初始值有很强依赖性，对初始聚类中心的选取作了改进，算法性能上更加稳定，实验表明改进后的初值选取方法后的K-means算法指导电信客户分群更加有效。4.期刊论文王静基于数据仓库的电信经营分析系统设计与实现-网络财富2009,(9)本文根据电信企业数据特征和对数据处理的要求,分析并设计了适合电信企业日常使用的数据仓库系统--经营分析系统.文中提出了系统整体需求,在设计阶段,得到了数据仓库系统的结构体系图、数据仓库概念,并围绕主题进行了ETL过程设计和OLAP分析设计.最终使用联合的系统架构方法实现了系统预期功能.5.学位论文林昕光电信经营分析系统中的数据质量管理2007电信经营分析系统是一个架构于企业各个生产系统之上，通过整合丰富的生产数据资源来为企业经营服务的决策支持系统，满足了电信运营商对于进一步拓展自身业务、提高业务系统生产效率的迫切需求。为适应中国电信市场越来越激烈的竞争，电信运营商必须逐渐摆脱从前的经验型管理的模式，向分析型管理转变。此时，建设一个高效的经营分析系统势在必行，也是未来几年电信企业信息化建设的重点工作。由于电信企业具有业务复杂，数据量大的特点，基于数据仓库技术建设电信企业的经营分析系统成为首要选择。但是由于经营分析系统的数据来自多个业务系统，数据源质量参差不齐，且业务逻辑繁杂，因此在建设过程中不可避免的会产生数据质量问题。有些经营分析项目更是因为数据质量太差，导致用户对系统的可用性产生怀疑。因此，做好数据质量管理是电信经营分析系统建设过程中的一个比较迫切的问题。本文的主要贡献有：1．分析了电信经营分析系统中造成数据质量问题的主要环节和原因，总结了在数据仓库中进行数据质量检查的方法。2．提出了适合电信行业特点的ETL流程改进策略，通过增强数据仓库性能达到提高数据质量的目的。3．设计了辅助数据质量检查的报表数据流查询模块和ETI。执行状态监控模块，并提出了一种确保维表数据正确性的同步方法。某运营商经营分析系统自上线日起，运行正常，未出现严重数据质量问题，验证了本文理论的正确性。6.学位论文李蕊数据仓库技术在电信经营分析系统中的应用2003数据仓库系统从逻辑上主要分为数据获取、数据存储、数据展现三个层次,该文分别从这三个层次论述了如何构建一个企业级的数据仓库系统,并结合电信企业的实际情况,设计出一个电信企业中的数据仓库解决方案:电信经营分析系统,阐述了系统的数据获取、数据存储和数据展现三个模块的设计方案,以及该系统在电信企业的具体应用和取得的成效.7.学位论文王翔数据仓库在电信经营分析系统中的应用研究2006数据仓库技术就是以决策支持为最终目标的技术，它主要是通过对过去若干月份的数据积累，使用联机分析处理技术(OnlineAnalyticalProcessing，简称OLAP)技术来回答目前经营中究竟发生了什么情况，运用数据挖掘来预测企业将来可能要发生什么情形。它作为一种新兴技术，在数据处理量极大的行业中，例如电信业、银行业等中，已经获得了广泛的使用。以电信业为例，目前中国主要有五大电信运营商，每一家都期望能够独占相应产品的市场份额，于是五大运营商都建立了自己的数据仓库，但是到目前为止能够紧密结合电信业务辅助决策，取得成功的案例几乎没有。而本文以“河南联通的经营分析系统”为研究背景，通过在河南联通经营分析数据仓库搭建及实施过程中解决的种种问题，对数据仓库进行了系统体系结构和其中OLAP部分实现进行了深入研究，探讨了在中国目前的电信运营环境下，利用何种体系结构才能够使得数据仓库更成功，以及如何让数据仓库更好的服务于联机分析处理OLAP报表的创建。论文首先对数据仓库技术及OLAP技术进行了系统的阐述，主要介绍了数据仓库的概念及四大特点，以及联机分析处理OLAP技术和多维数据库的基本概念。主要是为论文中讨论的议题进行知识的准备。其次，结合“河南联通经营分析系统”，详细讨论了在目前这种电信经营环境下，传统数据仓库结构的不足，并给出了一种新的、增加了一层操作型数据存储(OperationalDataStore，简称ODS)的数据仓库结构的解决方案，分析ODS层带来的好处，及其主要解决的问题。并通过给出“河南联通经营分析系统”数据仓库的数据库结构图详细说明了ODS层在整个数据仓库中数据转换、清洗中心，及上承数据仓库、下启各种数据来源的作用和地位。再次结合“河南联通经营分析系统”中的OLAP具体应用，讨论了ODS带来的好处。OLAP中如何高效借助数据仓库生成报表一直是一个难题，这一部分还结合一个具体案例“OLAP手机销售日报主题”，重点论述了从数据仓库中如何更高效的抽取OLAP报表生成需要的数据的过程，并给出了一个解决方案，并进一步解释了这种方法比常见方法的优点。最后，指出了这种文中提出的拥有ODS层的数据仓库解决方案，能够如此灵活的解决电信企业的需求，在目前的电信企业的数据仓库解决方案中仍然不多。此外，还进一步指出还需要数据仓库结构中还解决的问题。8.学位论文崔林静电信经营分析系统中ETL的设计和实现2006电信经营分析系统是建立在电信生产系统基础之上的管理系统，实现、建立并完善电信业务经营分析数据的集中化管理；是提供给企业管理者及时全面了解企业运营状况和市场动态的一个平台；也是为市场人员提供动态实时了解各种电信业务的经营状况、制定和调整营销决策的决策支持的方法和工具；同时为客户关系管理提供包括客户资料等方面的技术支持。ETL，即数据抽取(Extract)、转换(Transform)、清洗(Clean)、装载(Load)的过程，其功能是将数据从各生产系统中抽取出来，经过一系列的转换、清洗和审计，加载到数据仓库系统中，是数据仓库系统中最基本而且极为重要的一部分，也是电信经营分析系统成败的最重要部分之一。本文内容主要是电信经营分析系统中ETL的实现过程。本文在充分分析系统需求以及各种数据源的不同格式基础上，提出了一种通用的实现模式，来完成ETL的处理过程。为了对整个处理流程进行很好的监控和控制，本文设计时主要是把处理过程分成了6步来实现，即数据源的获取、数据预处理、清洗与转换、结果数据传输、载入数据库、与用户资料汇总。针对长途业务的实现，分为普通长话、200和IP909三个独立的子模块，完成数据从电信各支撑系统到数据仓库的抽取、转换和装载处理。本论文提出了电信经营系统数据ETL处理的总体设计，包括设计思想，流程和模块以及数据库表的设计；实现了ETL的功能，主要针对普通长途业务、200以及17909三种业务的业务模块分别设计。本论文的最后设计了测试项目，测试表明系统功能达到了设计要求，且对数据源、异构平台的支持效果比较好，系统性能达到了设计要求，结果比较理想。9.期刊论文齐鹏.李剑鹏.杨庚电信经营分析系统的总体结构设计与分析-江苏通信技术2004,20(6)电信运营行业竞争日益加剧,企业经营者必须随时了解业务运行情况,掌握客户信息,以便及时调整运营策略,保持竞争优势,这些都建立在信息需求得到满足的基础之上.基于数据库技术的经营分析系统能够整合电信运营企业内部分散的原始业务数据,解决数据庞杂、业务系统繁多造成的问题.运用ETL(extracttransformload,抽取、转换和加载)技术构建数据仓库,对数据进行多维分析,并提供直观的