江苏移动经营分析地市数据集市的研究

南京邮电大学硕士学位论文江苏移动经营分析地市数据集市的研究与实现姓名：陈宏伟申请学位级别：硕士专业：计算机技术指导教师：孙知信;马晓明20090601江苏移动经营分析地市数据集市的研究与实现作者：陈宏伟学位授予单位：南京邮电大学相似文献(10条)1.学位论文张磊基于数据仓库的海量数据分析与决策系统研究与实现2003该论文分为三大部分.论文的第一部分,包括第一章和第二章.在回顾了海量数据分析与决策的发展历程基础上,分析了其面临的挑战,指出利用传统技术是无法解决的,提出了基于数据仓库的解决方案.然后,对数据仓库的基础理论做了研究,重点探讨了基于数据仓库技术的海量数据分析与决策系统的基本框架和实现方法.论文的第二部分是全文的重点,包括第三章和第四章.针对当前流行数据仓库体系结构DB-DW存在的不足,引入ODS,构建DB-ODS-DW三层体系结构,产在分析当前通用数据仓库逻辑建模方法不足的基础上,提出将和三范式(3NF,即ThirdNormalForm)和星型模式(Star-Schema)两种建模方法相结合来设计数据仓库,并扰此设计和实现了多层星型模式数据仓库,给出了层与层之间表的转换、对应关系,对数据仓库的管理做了研究.论文的第三部分包括第五章和第六章,对数据仓库的应用做了研究.数据表现实际上相当于数据仓库的门面,主要类型有多维分析、数据挖掘等.而多维分析又是数据仓库的重要表现形式,该论文就多维分析的实现方式和设计思路做了深入研究,并实际设计了客户信用评价挖掘模型.最后,对全文做了总结,并就基一数据仓库的海量数据分析与决策的发展做了展望.2.学位论文李传猛基于增量技术的数据仓库在钢铁企业中的应用2007信息化是迅速提升钢铁企业自身竞争力、促进其持续有力发展的必然选择和技术保证。ERP系统的建立大大加快了钢铁企业的信息化进程。数据仓库技术是综合利用关系复杂的海量数据的有效手段，它使得企业的信息变得易于获得。在钢铁企业中，构建基于ERP系统的数据仓库，可以克服ERP系统存在的数据缺乏组织性、利用率低、数据冗余等问题，帮助企业决策者进行正确的决策，使企业能在激烈的市场竞争中把握先机。本文首先介绍了数据仓库技术的相关理论，包括数据仓库的历史及国内外发展现状、数据仓库的定义、数据仓库的数据组织和体系结构、数据集市的概念以及与数据仓库的关系、OLAP分析、数据挖掘和统计分析。接着指出了系统的架构及软、硬件配置，介绍了炼钢工序的逻辑及功能，提出了数据仓库动态联机增量维护算法，构建了该算法的模型。阐述了动态联机增量维护算法和利用该算法对数据仓库实体临时表的维护技术，以基于ERP数据源的炼钢数据集市为例，描述了本算法在数据仓库中的应用与实现，该算法与技术对数据仓库技术的发展及应用具有重要的意义。最后确定了炼钢数据集市的数据集成、展示、传输流程；结合报表制作工具StyleReport，用二维表格展示最终的数据，并在此基础上进行多维分析；展望了动态增量技术和数据仓库技术的发展前景，提出了进一步工作的研究方向。本文提出的动态增量维护算法简单、易行，优化了系统的性能，提高了系统的运行效率，节约了系统的开发成本。基于动态增量维护算法炼钢数据集市的建立，使海量数据变得更有意义，提高了数据的准确性，增强了企业的竞争力，取得了很大的经济效益。3.学位论文王玉林数据仓库在通信业务中的应用研究2006近几年来随着通信技术的发展和用户范围扩大，通信行业IT系统中数据急剧增加，各个信息系统均产生海量数据并产生了数据孤岛。在日益竞争和瞬息万变的经济时代，如何充分利用这些数据，深层次地挖掘数据资源，使决策者能及时掌握公司的运营情况，从而提高公司的业务发展和竞争优势，扩大市场份额。日益发展和流行的数据仓库技术正是解决上述问题的一种技术方案。但是面对海量的孤岛数据，如何进行数据仓库建模，如何清洗杂乱无序的数据一直是数据仓库实施的难点和重点。本文将结合电信行业项目海量数据的特点，运用数据仓库的各项技术做好系统实施工作。本论文的重点是结合通信行业的业务特点，找到合适数据仓库项目实施方法以及实施策略，探讨适合通信行业特点的数据仓库架构、数据仓库建模、数据处理策略、数据集市构建策略以及数据质量控制策略。该数据仓库项目实施为该电信企业积累了宝贵的数据资源，并提供了丰富的统计报表和分析应用，大大缩短了市场分析和制定市场策略反应时间，为该公司带来了巨大的效益。第一部分为数据仓库概述，该章将对数据仓库概念的引入、数据仓库产生和发展进行了阐述，并简单介绍了数据仓库的商业应用，以期为后续章节做好铺垫；第二部分为理论部分，结合前人在数据仓库的研究，引入并介绍数据仓库相关技术、概念以及规范，这是数据仓库实施的主要参考依据；第三部分为数据仓库的实施过程，该章主要对数据仓库实施的过程和方法进行选择，其重点是论述数据仓库的体系结构，为了便于实施，基于应用角度和数据处理角度对体系结构进行了分解。第四部分为数据仓库建模，该章将对数据模型的选择以及构建过程，在多维建模中需要注意的问题以及所选择的星型模型构建策略进行详细的阐述，其中维表处理策略、事实表处理策略是创新之处。第五部分介绍了数据处理过程，这是数据仓库实施的关键环节。本章结合源数据的情况，选择了适宜的ETL策略、抽取模式。本部分还详细的介绍了ETL具体步骤，其中数据处理的元数据数据调度机制是一创新点。第六部分介绍数据质量控制，该章阐述了数据质量控制的方法和步骤，这是数据仓库实施中的难点，使得本次数据仓库的基础数据准确度达到百分之九十八以上。第七部分详细介绍了数据集市构建过程，本研究突破了传统的数据集市构建过程，采用了“从上到下”和“从下到上”相结合的方式，合理地划分了数据层次，增加了由DW到Cube的数据缓冲层DM。第八部分介绍前台应用展现，简单介绍了本课题研究的前台应用界面情况。4.学位论文凌立刚商务智能在电信行业的应用2003商务智能是从海量数据中获取商业优势的艺术.它使用数据仓库和数据集市作为数据存储区,通过OLAP对各个业务运作进行统计和对用户的假设进行验证.通过数据挖掘发现数据背后隐藏的模式,都是为决策提供量的支持.在其中的数据存储区建设中,关于建设数据仓库还是建立数据集市?是进行E-R建模还是进行多维建模争论由来已久.通过对数据仓库的发展过程的回顾,认为他们之间是相辅相成的.根据数据仓库规模的大小,可以建立数据仓库-数据集市多层存储结构或数据集市的单层存储结构,给出了它们的建模方法.最后引用了参与的电信行业的商务智能项目.5.期刊论文王颖锋OLAP在油矿勘探开发管理信息系统中的应用-福建电脑2007,(1)该OLAP管理系统构建基于INTERNET、INTRANET网络技术,采用C/S和B/S相结合的结构,运用数据集市存储数据.它能够让用户自由地定制自己的查询条件,观察、分析维度,最后从海量数据中快速生成直观的图形、图象、报表等.为分析人员、管理人员、执行人员、科研人员的需求提供了有效、快速的服务.6.学位论文赵洪启移动运营商地市级数据集市系统的分析与设计2008如今的移动通信市场已经进行了重组，在即将来临的3G时代里，国内各大电信运营商之间的竞争越来越激烈，及时作出决策是企业生存与发展的重要环节。经营决策需要快速、尽可能多的定量分析，而不是似是而非的定性分析。同时随着ERP、CRM、OA等信息系统的广泛应用和互联网的蓬勃发展，使得企业数据量激增，人们希望获得更高层次的数据分析能力，数据库已越来越难以满足这种需要。大多数企业并不缺少数据，而是苦恼于海量数据以及数据的不一致性；随着数据量的增加，数据变得越来越难以访问管理。中国移动在2002年正式启动经营分析系统的建设以来，经过近6年的完善，省级数据仓库已卓有成效，本文将着重设计地市级的数据集市系统。建立地市级数据集市的目的，是让企业借助数据集市从海量信息中探究数据与数据之间的关系，把企业的内部数据和外部数据进行有效集成，为企业众多的决策、分析人员所用。数据集市，就是要对这些数据进行结构重组，并且充分考虑今后的扩展性和与外部数据的接口，使得企业数据资源实现更大的价值。本文借助访谈法（包括专家、地方移动部门经理、营业员等），在收集第一手资料的前提下，结合《经营分析系统数据集市业务技术规范v2．0》，着重研究经营分析系统对移动地市级部门各个角色的支撑，给出了具体的分析，同时得到了移动运营商地市级数据集市系统的角色模型。本文首先对课题的研究背景、国内外发展现状以及论文的组织结构进行了介绍，接着对建设经营分析系统用到的数据仓库、OLAP、ETL、建模方法论等相关理论与关键技术进行了探讨，然后对数据集市系统进行了总体分析，详细阐述了利用数据仓库领域相关知识并按照软件工程思想从系统的需求分析、概要设计到最后的测试过程一步步展开的具体过程，最后对全文进行了总结并展望了系统未来的发展方向。7.学位论文李捷电信行业经营分析系统——数据集市子系统的设计与实现2007如今的移动通信市场群雄逐鹿，在即将来临的3G时代，国内各大电信运营商之间的竞争越来越激烈，及时作出决策是企业生存与发展的重要环节。企业利润的降低使得很多企业必须从粗放经营转变到集约经营。经营决策需要快速、尽可能多的定量分析，而不是似是而非的定性分析。而随着ERP、CRM、OA等信息系统的广泛应用以及互联网的蓬勃发展，使得企业数据量激增，人们希望获得更高层次的数据分析能力，数据库已越来越难以满足这种需要。而且现在，大多数企业并不缺少数据，而是苦恼于海量数据以及数据的不一致性；随着数据量的增加，数据变得越来越难以访问管理。由此，产生了数据仓库和数据集市的概念'[1]。建立数据仓库的目的，是借助数据仓库，企业能够从海量信息中探究数据与数据之间的关系，把企业的内部数据和外部数据进行有效集成，为企业众多的决策、分析人员所用。数据仓库，就是要对这些数据进行结构重组，并且充分考虑今后的扩展性和与外部数据的接口，使得企业数据资源实现更大的价值。数据仓库作为企业级应用．其涉及的范围和投入的成本常常是巨大的．它的建设很容易形成高投入、慢进度的大项目。这一切都是部门，工作组所不希望看到和不能接受的。由此催生了数据集市的概念，数据集市是用来满足特殊用户的应用需求的数据仓库，它们的规模可能达到数百GB。使其成为数据集市的关键是它的使用目标、范围，而非规模大小。数据集市具备的特性包括：规模小，面向特定的应用、面向部门/工作组、快速实现、投资规模小、易使用、全面支持异种机平台等。用户可根据自己的需求，以自己的方式来建立数据集市'[2]。作者在实习期间，参与了某省移动通信公司经营分析系统的研发工作，对系统运用到的相关理论技术及其在实际工作中的应用有了较为深刻的认识。本文首先对课题的研究背景、国内外发展现状以及论文的组织结构进行了介绍，接着对建设经营分析系统用到的数据仓库、OLAP、ETL、建模方法论等相关理论与关键技术进行了探讨，然后对数据集市系统进行了总体分析，详细阐述了利用数据仓库领域相关知识并按照软件工程思想从系统的需求分析、概要设计、详细设计到最后的测试过程一步步展开的具体过程，最后对全文进行了总结并展望了系统未来的发展方向。8.学位论文郭翔信用卡数据分析集市的设计和实现2009中国信用卡业经过几年的高速发展，已初具规模，开始朝着追求发展质量和经营效益的方向迈进，目前迫切需要发展数据分析技术，以提高科学决策能力和自动化智能化运作水平。但是，相对于国外同业将数据分析广泛和深入地应用于经营管理的各个方面，国内还有很大差距，突出表现在数据基础薄弱、数据挖掘能力不足。针对上述问题，本课题改造了国内某大型银行的信用卡管理信息系统，并以数据仓库和数据集市的理论为基础，结合该银行的技术现状和业务需求，建设了基于企业数据仓库的信用卡数据分析集市。其中面向数据挖掘和即席分析应用建设了实验室环境数据集市，面向多维分析和灵活报表应用建设了生产环境数据集市。本课题按照从源系统到用户的数据流向，设计了基础层、汇总层、应用层三大数据层次。基础层用于企业数据仓库，存储细节和历史数据。汇总