数据管理技术

问题一：在一个系，有一张学生选课表(学号，课程号，选修课程，成绩)，记载着该系学生的选课情况。该系的教学秘书需要查询和统计某些学生的修课情况、各门课程的成绩、平均成绩；需要查询和统计选修了某门课程的学生、课程的平均成绩、成绩的分布情况…问题二：在一个大学，有一张学生选课表(学号，课程号，选修课程，成绩)，记载着该校学生的选课情况，学生基本信息表(学号，姓名，性别，所属系，电话号码)，记载该校学生的信息，开设课程表(课程号，课程名，课程类别，学分)，记载该校开设的课程信息。学生工作处需要查询和统计各系、各性别学生人数的分布情况、平均成绩的分布情况，以及重修学生的人数和比例；学校教务处需要查询和统计各系开设的课程总门数，不同类别的课程门数、总学分数，各课程选修的学生总数和平均成绩。问题三：一个大学有多个管理部门：学生工作处、人事处、财务处、教务处、房管处、设备处、校长办公室…，负责对全校的学生、职工、财务、教学、房产、设备、校日常事务…进行管理；有多个学院：计算机学院、数学学院、生命科学学院、法学院、商学院…，分别负责对本院学生、教学、教师、设备等进行管理...这三个问题为什么感觉越来越困难？从问题一至问题三，为什么感觉越来越困难？用户越来越多数据量和范围越来越大需求越来越复杂数据管理对数据进行分类、组织、编码、存储、检索和维护，是数据处理的中心问题。数据管理技术的目标就是合理地组织数据、有效地存取数据，为此必须解决下列问题：◦存储介质◦数据的表示◦数据的操作◦数据的管理NumberNameCourseDateGrade9525012ZhangYanMIS1998.9A9525018JeffYuMIS1998.9A9525027…HeHui…MIS…1998.9…B…数据库是目前最有效的数据管理工具，成为现代管理信息系统的核心和基础数据的组织1数据库与数据管理2数据仓库与分析处理3数据组织的层次性文件(File)记录(Record)RecordFieldFiled域(Field)FieldByte字节(Byte)ByteByteBitBit位(Bit)Bit物理组织位字节字符技术界面字符域(数据项)记录文件逻辑组织员工对数据的有效组织和管理,关键在于在各个层次上建立数据世界与现实世界的准确、完善的对应关系，并以恰当、高效的手段来安排数据世界的各个层次数据的组织1数据库与数据管理2数据仓库与分析处理3在应用需求的推动下，在计算机硬件、软件发展的基础上，数据管理技术经历了人工管理、文件系统、数据库系统三个阶段。在50年代中期以前，计算机主要用于科学计算。◦硬件状况是，外存只有纸带、卡片、磁带，没有磁盘等直接存取的存储设备；◦软件状况是，没有操作系统，没有管理数据的软件；人工管理数据具有如下特点：◦数据不保存◦数据不共享◦应用程序管理数据(1)人工管理阶段(自由管理阶段)50年代后期到60年代中期◦硬件方面已有了磁盘、磁鼓等直接存储设备；◦软件方面，操作系统中已经有了专门的数据管理软件，一般称为文件系统用文件系统管理数据具有如下特点：◦数据可以长期保存◦由文件系统管理数据(2)文件系统阶段注册系统会计系统勤工俭学系统注册程序学生文件会计程序学生文件学生文件勤工俭学程序缺点：数据冗余数据不一致数据独立性差60年代后期以来，计算机用于管理的规模越来越大，应用越来越广泛，数据量急剧增长，同时多种应用、多种语言互相覆盖地共享数据集合的要求越来越强烈。数据由数据库管理系统DBMS统一管理和控制数据库系统管理具有如下特点：◦数据的共享性高◦冗余度低(3)数据库系统阶段注册系统会计系统勤工俭学系统注册程序会计程序勤工俭学程序DBMS数据库1.数据库所谓数据库是长期储存在计算机内、有组织的、可共享的数据集合◦长期是指数据永久保存，不是转瞬即逝的◦有组织是指按照某种数据模型如关系模型进行存储◦可共享是数据库中的数据可以被不同的用户共享。每个用户可以因不同的目的而访问相同的数据，甚至可以同时访问同一数据◦例如：产品数据库，银行数据库，。。。数据库两个主要目标是减少冗余和获得数据独立性减少数据冗余◦冗余就是数据的重复；◦冗余数据意味着对某些事实的修改必须在多处进行，否则它们的值不相等，很难确定哪一个值是正确的。获得数据独立性◦在对数据结构进行修改时，不必修改处理该数据的应用程序2.数据库管理系统数据库管理系统(DataBaseManagementSystem,DBMS)是用于在数据库中创建、存储、组织和读取数据的一类特殊软件◦Access是个人电脑使用的DBMS◦Oracle和SQLServer是在大中型主机上使用的DBMS◦MySQL是一种流行的开源DBMS数据库管理系统的功能（1）数据定义◦定义数据库中数据的结构,主要用于建立数据库表和定义表中字段的属性【例】CREATETABLEstudent(nameCHAR(10),…)◦建立一个名为student的学生表，其属性包括学生姓名等各项信息（2）数据字典◦存储关于数据库结构的元数据,即数据的数据◦如某一个字段的名称、描述、大小、类型以及格式等信息（3）数据操纵◦实现数据库中有关数据的各种操作，包括数据插入、修改、删除以及查询◦现在最常用的数据操纵语言是结构化查询语言SQL【例】SELECTnameFROMstudentWHEREage203.关系数据库(1)数据模型现实世界信息世界数据世界人们头脑之外的客观世界，它包含客观事物及其相互联系。信息世界，是现实世界在人们头脑中的反映。现实世界中的事物及其联系，在数据世界中用数据模型描述。信息的转换过程客观事物类：事物相关性质集合人实体实体集合及实体联系相关属性集合加工、转换数文件据记录库相关数据项集合加工转换存储二进制数据集合结构计算机世界DBMS数据世界DBMS的数据模型信息世界认识选择描述现实世界E-R模型DBMS的数据模型◦在数据库系统中，对现实世界中数据的抽象、描述以及处理等都是通过数据模型来实现的。◦层次模型,网状模型,关系模型ABCDEF关系模型(RelationalModel)美国IBM公司的E.F.Codd，从1970年起连续发表了多篇论文，提出关系模型，奠定了关系数据库的理论基础关系模型用二维表表示实体与实体之间联系的模型在关系模型下,数据的逻辑结构是二维表学号姓名班级性别981233张三MBA981男981236李四MBA981女981237王五MBA982男981240赵六MBA982男……………………关系模型中的主要术语包括：◦关系（relation）：对应于实体集合的二维表；◦元组（tuple）：也称为记录（record），即二维表中的一行，对应于一个实体；◦属性（attribute）：即二维表中的一列，代表实体的一个数据侧面，属性在元组上的取值就是数据项；◦关系模式：即对关系的描述，用关系名（属性1，属性2，……，属性n）的形式表达。◦主码/主关键字(key)：唯一标识每条记录的属性完整性约束是为保证数据库中数据的正确性.(1)完整性约束属性的值类型和值域实体完整性参照完整性实体完整性◦每一条数据记录都应该具有身份标识◦在数据库中，每个数据库表都应当含有一个不能为空且无重复的主码学号姓名班级性别981233王五MBA981女981236李四MBA981女981233王五MBA982男赵六MBA982男……………………参照完整性◦反映数据属性值之间的某种“存在性”关系◦子表中的值存在时，其所参照的父表中的值应当已经存在，否则，参照完整性遭到破坏用户自定义完整性（属性的值类型和值域）：决定该属性的基本数据特征◦属性为“月份”,则该属性的类型为整型数字,并且取值范围在{1,2,3,…,12}之中◦属性为“性别”，则取值应在{“男”，“女”}之中数据依赖关系反映数据属性值之间的“对应”关系。以函数依赖为例，属性组B依赖于属性组A（记为A→B）是指：如果任两条记录的A值相等，则必有相等的B值与之相对应。换句话说，A→B反映了“相等的B值对应相等的A值”这样的语义。(2)数据依赖关系插入异常：在没有采购这个产品时，它的价格无法输入删除异常：在删除了有关某产品的最后一条订单时，其价格信息也被删除冗余度大：如果某项产品有多条订单，价格被存储多次Orders字段例子订单编号产品编号订购日期价格001A0012000-2-3$29.00……Orders字段例子订单编号订购日期0012000-2-3产品编号A001……Products字段例子产品编号价格A001$29.00……实体联系模型反映的是信息世界中的实体及其相互联系。图书作者写作出版社类别页数ISBN*书名姓名出生地身份证号*定稿时间价格ER图实体(Entity)现实世界中存在的对象和事物。属性(Attribute)属性指实体具有的某种特性。(1)基本概念实体名称表示方法：表示方法：属性实体名称属性2属性n属性1联系现实世界的事物总是存在着这样或那样的联系。联系表示方法：实体1实体2联系一对一联系◦如果对于A中的一个实体，B中至多有一个实体与其发生联系，反之，B中的每一实体至多对应A中一个实体，则称A与B是一对一联系。(2)联系类型系系主任任职11病区科室主任任职11一对多联系◦如果对于A中的每一实体，实体B中有一个以上实体与之发生联系，反之，B中的每一实体至多只能对应于A中的一个实体，则称A与B是一对多联系。(2)联系类型AB联系1n联系教研室教师1n多对多联系◦如果A中至少有一实体对应于B中一个以上实体，反之，B中也至少有一个实体对应于A中一个以上实体，则称A与B为多对多联系AB联系mn教师学生教学mnE—R图绘制图书作者写作出版社类别页数ISBN*书名姓名出生地身份证号*定稿时间价格1、利用分类、聚集、概括等方法抽象出实体，并一一命名。2、描述实体之间的联系3、实体属性和联系属性的说明mn◦支持ER模型-关系数据库之间转换的开发工具：ERWinOracleDeveloperSybasePowerDesigner图5-9ER模型与关系数据库结构数据库也是一种软件,所以数据库的发展趋势在总体上与软件的发展趋势是一样的◦越来越自然,人使用起来越来越方便发展方向从三方面来看数据的组织1数据库与数据管理2数据仓库与分析处理3信息处理的任务信息获取从企业内部和外部获得最为基本的信息将企业中的信息以最有效的方式提交给其他实体对已有的信息进行处理以获得新的信息将有用的信息存储起来信息传递信息创造信息存储信息通信通过媒体将信息传递给他人或另一地点企业业务和管理决策的核心内容OLTP(OnlineTransactionProcessing)主要用于快速有效的处理日常的、重复性的数据，产生的结果主要是业务报告OLAP(OnlineAnalyticalProcessing)加入了对累积数据的分析，由最终用户分析，将战略信息放在决策者手上一个好的系统能够支持用户方便的查询数据，也能快捷、准确、有效地支持决策即把一个组织中的历史数据收集到一个中央仓库中以便于处理；是支持决策过程的、面向主题的、集成的、随时间而变的、持久的数据集合；是OLAP应用的环境和基础；是当今信息管理中的主流趋势之一。(1)数据仓库(datawarehouse,DW)35数据仓库体系结构其它数据源元数据存储监控和管理OLAP服务器分析操作数据库提取转换数据仓库服务查询/报告装入刷新数据集市数据挖掘数据源数据存储OLAP引擎前端工具数据仓库和数据库系统对比内容数据库数据仓库数据内容当前值历史的、存档的、归纳的、计算的数据数据目标面向业务操作程序，重复处理面向主题域，分析应用数据特性动态变化，按字段更新静态、不能直接更新，只能定时添加、刷新使用频率\访问量高，少量记录低，海量记录对响应时间的要求以秒为单位时间长主要用户基层业务人员和管理人员高层决策人员【例】假设你的公司在东部、西部和中部地区销售四种不同的产品——螺