操作数据存储

2019/12/301五邑大学计算机学院何国辉数据仓库与数据挖掘DataWarehouseandDataMining2019/12/302数据仓库与数据挖掘DataWarehouseandDataMining第二章操作数据存储2019/12/303数据库和数据仓库两层体系结构（DB-DW）并不能涵盖企业所有的数据处理要求。有的应用既不是纯粹的联机事务处理，又算不上高层决策分析。导致一种新的数据环境--操作数据存储（OperationalDataStore，ODS）的建立。是两种处理类型之间存在的一个中间层次，从而形成了DB--ODS--DW的三层体系结构。2.1什么是ODS2019/12/3042.1.1ODS的定义及特点定义：是用于支持企业日常的全局应用的数据集合。保存在ODS中的数据具有4各基本特征：面向主题的、集成的、可更新的、数据是当前或接近当前的。ODS中只存放当前或接近当前的数据，并且可以进行联机修改，包括增、删、改等操作。2019/12/305ODS主要是适应进行企业级的全局应用的需求而产生的。这种全局应用可以大致地划分为两类：企业级的（OLTP）联机事务处理即时“OLAP”数据处理2.1.2ODS的功能和实现机制2019/12/3061.在ODS上实现企业级的OLTP所谓“企业级OLTP”是指在实际数据处理中，一个事务同时涉及多个部门的数据。在操作型DB环境中，各应用面对的仅是企业的某个部门，这些部门应用所处理的仅是企业的局部数据。每个面向应用的DB中不可能包含整个企业的完整数据，某个操作型DB的数据组织中很少考虑其它DB的特点和需求，因而数据缺乏一致性。在原来面向应用的分散DB系统中为了获得快速响应，事务处理代价很大。2019/12/307实现企业级的OLTP思路：在ODS与DB之间提供双向映射关系，以保证双方的一致性。1.在ODS上实现企业级的OLTP（续）2019/12/308一方面，ODS记录系统的定义，说明ODS从DB的数据抽取关系，各DB记录系统上所做的任何修改操作都需要反映在相应的ODS记录中。另一方面，ODS系统中还存放一些参考表，它反映的关系是ODS全局更新时所必须反映的所有DB中相关记录信息。1.在ODS上实现企业级的OLTP（续）2019/12/3092.在ODS上实现即时OLAP在DW上实现OLAP是为了进行高层决策管理，但是由于DW中的数据量十分庞大，OLAP的运行时间都很长。在企业的日常管理中，经常需要进行一些非战略性的中层决策，以实现企业的日常管理和控制。不需要太多历史数据、要求较快的响应速度。ODS的建立克服了DW系统过于庞大、处理时间长的缺点。2019/12/3010企业级OLTP和即时OLAP两类数据处理有明显的差别，又可分别称之为“操作型”处理模式和“信息型”处理模式。信息型处理模式就是只有查询操作的工作模式（非排他型）操作型处理模式指含有更新操作的工作模式（排他性）。如何协调两种处理模式？2.在ODS上实现即时OLAP（续）2019/12/3011动态切换在系统中设置一个状态切换开关，使ODS系统在操作型环境和分析型环境间进行动态切换。以保证：在进行即时OLAP时获得较快的响应速度在进行操作型处理时，能保证联机事务处理时数据的完整性，事务的原子性、一致性、隔离性和持续性。2.在ODS上实现即时OLAP（续）2019/12/3012应用举例（略）2.在ODS上实现即时OLAP（续）2019/12/3013ODS的作用和地位与企业性质、经营业务范围、规模大小等实际情况紧密相连。有的主要是进行全局事务处理，有的则主要是即时OLAP。如果是在地理上分布的集团公司的ODS系统，则可能是分层的。3.分层ODS体系2019/12/30143.分层ODS体系（续）2019/12/30152.2DB~ODB~DW体系结构ODS在整个三层体系结构中起到了“承上启下”作用。2019/12/3016ODS与DW的差别面向主题和集成性使得ODS的数据在静态特征上很接近DW中的数据，但是在ODS与DW之间仍然有许多基本的、重要的差别。1.存放的数据内容不同（最大差别）ODS：当前或接近当前的数据、细节数据、可联机更新DW：历史数据、细节数据和综合数据、不可变快照2.2.1ODS与DW2019/12/30172.数据量是不同等级的DW：保存大量历史数据ODS：只存放当前和接近当前的数据2.2.1ODS与DW（续）2019/12/30183.技术支持不尽相同ODS：要支持面向记录的联机更新，又要随时保证数据与源数据系统中数据的一致性。DW：需要支持ETL技术和数据快速存取技术。2.2.1ODS与DW（续）2019/12/30194.面向的需求不同ODS：一是为了满足企业进行全局应用的需要，二是向数据仓库提供一致的数据环境以供抽取。DW：主要用于高层战略决策。2.2.1ODS与DW（续）2019/12/30205.使用者不同ODS：企业的中层管理人员。DW：DSS分析员或企业高级决策者。2.2.1ODS与DW（续）2019/12/3021DW和ODS之间是既有区别又有联系的关系2.2.2DB~ODS~DW三层体系结构2019/12/3022引入ODS带来的好处ODS承担“承上启下”的角色ODS简化了DW与操作型环境的界面满足了企业级全局应用需求2.2.2DB~ODS~DW三层体系结构（续）2019/12/3023两级记录系统2.2.2DB~ODS~DW三层体系结构（续）2019/12/3024下课了。。。休息一会儿。。。