NMCC经分20系统总体设计说明书_数据质量

内蒙古移动经营分析系统2.0集团客户系统总体设计说明书2008年10月本文档及其所含信息为机密材料并且由中国移动集团公司和NCR（中国）有限公司共同拥有。本文档中的任何部分未经中国移动集团和NCR（中国）有限公司书面授权，不得将材料泄露给第三方,也不得以任何手段、任何形式进行复制与传播Copyright©2006NCR版权保留所有的权利目录S1综述.............................................................................................................31.1编写目的............................................................................................31.2读者对象............................................................................................31.3参考资料............................................................................................32系统总体架构...............................................................................................42.1数据集市数据质量管理方案...............................................................42.2其他模块说明....................................................................................42.3数据质量的交互方式..........................................................................42.4FTP的轮询方式................................................................................53系统软硬件总体结构....................................................................................33.1硬件技术结构....................................................................................33.2软件技术结构....................................................................................34技术设计......................................................................................................34.1术语说明............................................................................................34.2一般结构..........................................................................................104.3建议的结构.......................................................................................115数据质量检查互交格式定义.......................................................................146平台设计....................................................................................................146.1设计原则..........................................................................................136.2系统数据接口..................................................................................156.3数据转换..........................................................................................176.4数据加载..........................................................................................177数据模型....................................................................................................177.1逻辑数据模型..................................................................................177.2物理数据模型..................................................................................177.3数据模型管理..................................................................................181综述1.1编写目的编写本功能规格说明书的目的，主要是对内蒙移动数据质量管理系统建设项目的总体设计思想、功能的明确阐述；使用户和软件开发者双方对数据质量管理系统的功能点有一个共同的理解，为开展数据质量管理系统的开发工作提供指导，保证系统功能满足集团要求和用户需要。1.2读者对象本文档适合于以下人员阅读和参考：开发、测试人员。业务开发人员。系统分析师。系统架构师。1.3参考资料《中国移动省级经营分析系统规范总册v2.0》《中国移动省级经营分析系统数据质量管理系统业务技术规范v2.0.doc》2系统总体架构2.1数据集市数据质量管理方案2.2其他模块说明数据接口：是为了保证数据的结构、意义、编码、保持一致。数据质量管理：确保从数据源抽取的数据质量。数据模型：包括逻辑数据模型和物理数据模型。2.3数据质量的交互方式•交互的频率准时时提供•交互的方式Ftp文件轮询•交互的格式交互的格式为XML，具体的格式和说明由Teradata提供2.4FTP轮询方式3系统软硬件总体结构3.1硬件总体结构产品型号产品名称配置数量厂家及说明NCR5450数据仓库服务器92TB（裸盘）16节点NCR/生产系统NCR5380数据仓库服务器12TB（裸盘）5节点NCR/生产系统NCR5350数据仓库服务器9TB（裸盘）3节点NCR/生产系统小计：103TB（热备）22节点NCR/生产系统L700磁带库8个LTO1驱动器1台NCR-LibrarySL500磁带库18个LTO3驱动器1台NCR-LibraryIBMP460ETL服务器4CPU,8GRAM,2*73GB2台IBMHPDL630应用服务器2颗Inter®CPU1.4GHz，2G内存2台HPHPrx4640WEB服务器4颗Inter®CPU1.4GHz，4G内存，2块36GSCSI硬盘2台HP-PCServer3.2软件总体结构1.NCR5450/5380/5350Teradata数据仓库服务器操作系统：NCRUNIXSVR4MP-RAS数据库系统：NCRTeradata海量并行处理数据库管理系统工具：NCRTeradata公用程序MultiLoadFastLoadBteqFastExportArcmain2.NCRA16数据仓库系统管理工作站操作系统：NCRUNIXSVR4MP-RAS工作站管理软件3.ETL服务器操作系统：IBMAIX5.0工具：NCRTeradata公用程序MultiLoadFastLoadBteqFastExportPerlETLAutomation4.OLAP服务器操作系统：HPUnix工具：ESSBASE多维分析服务器版本工具：NCRTeradata公用程序MultiLoadFastLoadBteqFastExportPerlETLAutomation5.WEB服务器操作系统：HPUnix&Windows2000Server工具：HyperionBrioClient版本与BEAWEBLogic4技术设计内蒙经分系统关键技术设计是依靠Teradata数据库的PI及PARTITION等技术，Teradata是RelationalDatabaseManagementSystem---RDBMS,可用于UNIX，WINDOWSNT，对应于工业化ANSI标准,Teradata用于大型数据库服务器，支持并发访问,并发操作请求使其有能力处理海量数据,可在单节点或者多节点上运行,是企业级数据库的首选解决方案.4.1术语说明下表说明所使用的专有名词：名称定义数据库(Database)数据库(database)是一个区域，其上可建立对象，例如表、视图及宏。表是数据储存的地方，而经由视图及宏可控制数据的存取能力。数据库有配置磁盘空间。数据库结构是层次性式架构(hierarchical)，子数据库(childdatabases)建立在母数据库(parentdatabases)之下。数据库DBC是一种特殊的数据库，它在系统定义时即已存在，且为分类及字典表(catalogueanddictionarytables)的预设区域。DBC亦为数据库层次结构的顶层。PI数据分布的机制，数据分布是否均匀，直接影响到查询的效率。PARTITION（PartitionedPrimaryIndex），分区索引，通过建立分区主索引（PPI），从而更好的利用Teradata的强大并行能力，使我们可以在主表里同时储存历史数据和当前数据，也不会降低效能，并名称定义降低查询的复杂性。用户(User)用户(user)是一种可登入至系统的特殊的数据库。每一位用户皆被配置一个严格限制的永久空间，让用户储存个人资料。永久空间(PermanentSpace)永久空间(perm或permspace)为系统中可用以容纳数据库表的磁盘空间总合。永久空间系配置给数据库以便储存数据之用。只在一数据库所属于的母数据库(parentdatabase)目前有剩余可用空间时才能配置永久空间给该数据库。一开始，Teradata数据库中的所有空间皆为特殊数据库DBC所拥有。Spool空间(SpoolSpace)Spool空间(spool)是数据库系统(DBMS)需要提供给表用以在执行SQL陈述指令期间暂时储存中间结果的储存量总合。预设作为spool的空间大小是，最小必须有25%的可用空间或最大资料表的1.3倍，两者取较大者。应将此首要规则视为最低要求，且可视处理程序而改变。在没有Spool空间的情况下，查询无法执行。通常Spool空间