全业务竞争时代

全业务竞争时代全业务竞争时代加速引擎支撑加速引擎支撑B/OSSB/OSS系统创新系统创新系统的挑战uB/OSS系统的加速引擎-内存数据库技术u内存数据库在B/OSS系统应用场景3全业务支撑能力的构建对B/OSS系统的挑战u全业务竞争时代需要B/OSS系统具备全业务支撑能力u全业务支撑能力是全系列产品支撑能力以及综合运营支撑能力的结合。–全业务时代，业务处理流程的复杂化导致系统处理压力增大，系统处理性能和效率备受关注。–业务发展和竞争的压力，对业务处理的实时性要求倍增–全业务环境对数据管理方式带来新的课题4全业务支撑能力的构建对B/OSS系统的挑战u业务以及业务处理流程的复杂化导致系统处理压力持续增加–业务层面§业务形态、服务种类持续增加，新业务开发速度和数量倍增，业务规模继续增长，但同时服务质量要求也在不断提高。§客户细分、产品细分，精细化营销要求营销、销售、服务的一体化以及渠道的融合–技术层面§要求以统一的平台承载融合的全业务、全产品客户运营，实现全渠道一体化的营销、服务、业务受理。要求系统横向整合，导致流程复杂，系统并发压力大§系统解耦，导致交互增多u“性能和效率”成为B/OSS系统支撑业务发展的必须，需要系统处理效率的提升和性能加速5全业务支撑能力的构建对B/OSS系统的挑战u业务发展和竞争的压力，对业务处理的实时性要求倍增–在线实时计费能力的构建成为满足业务要求，提升服务质量的必要手段–需要以强大的融合计费引擎和灵活的帐务配置支撑融合的全业务产品设计和实现。–对客户资产的管理要求需要实时信控的支持–集中账户管理带来的对账户数据的集中实时访问u实时性要求新的技术手段的支撑6全业务支撑能力的构建对B/OSS系统的挑战u全业务环境对数据管理方式带来巨大挑战–量的增加§业务复杂化和集中化带来数据数量激增，数据的访问和处理模式随之而变。–实时性的新挑战§对海量数据的实时处理要求提升–数据的新的应用管理模式§应用和数据的分离需要全新的数据管理使用模式§业务的融合带来数据的融合和集中共享访问，加大了数据访问效率的要求§数据服务能力的构建-为全业务运营环境提供统一、标准、开放和可控制的数据服务。u需要从多个角度看待数据处理（业务角度和数据的角度）7全业务支撑能力的构建对B/OSS系统的挑战uB/OSS系统-应用和数据的集合u应用的优化§通过流程优化、模型优化等手段优化系统性能u数据的优化，§优化数据的存储§提升数据的访问效率–必须根据数据的生命周期特性和数据的访问方式和使用特点采取分级分层管理8B/OSS系统数据生命周期及价值、活跃度曲线创建阶段创建阶段在用阶段在用阶段历史阶段历史阶段归档阶段归档阶段9基于生命周期对B/OSS系统数据进行分类创建阶段创建阶段在用阶段在用阶段历史阶段历史阶段归档阶段归档阶段在线活跃数据在线活跃数据在线活跃数据在线历史数据在线历史数据在线历史数据离线历史数据离线历史数据离线历史数据10基于访问频度和响应时间对在线活跃数据细分11基于数据特性，对数据进行分级管理在线热数据一般活跃数据在线历史数据离线历史数据数据存储分级管理基本策略u数据访问特点–访问响应时间要求高，在微秒到毫秒级–查询频度高，多在业务使用时访问–更新频度较高u存储管理策略–采用内存数据库管理u数据访问特点–访问响应时间要求一般，在毫秒到秒级或以上–查询频度一般，多在业务服务时访问–更新频度较高u存储管理策略–采用普通磁盘数据库管理u数据访问特点–访问响应时间要求较低，在秒级以上–查询频度较低–不更新或很少更新u存储管理策略–采用数据库压缩存储管理u数据访问特点–访问响应时间要求低–查询频度很低–不更新u存储管理策略–离线保存12基于数据分级的B/OSS系统数据存储与访问架构13议程安排u全业务支撑能力的构建对B/OSS系统的挑战uB/OSS系统的加速引擎-内存数据库u内存数据库在B/OSS系统应用场景14热数据处理要求对磁盘存储提出的挑战u某些应用对部分数据的访问频度响应要求很高–并发量很大，在极短的时间内并行访问同一类数据–实时性要求很高，每秒交易量5000～10000个，响应时间在微秒级u典型的应用–计费系统（尤其是在线计费）–3G增值业务认证–基于客户数据的接续控制-OCSu主要的问题–磁盘I/O成为主要的瓶颈u解决思路–方案一：数据分割，采购高速设备等投资巨大的方案–方案二：内存管理模块§应用系统在内存中冗余存储客户资料等数据，定时（准实时）从磁盘数据库里同步数据–方案三：内存数据库§建立内存数据库，在内存数据库中建立基于延伸模型的存储结构，为应用系统直接提供查询和更新服务。15热数据处理的解决方案-内存数据库u内存中运行实现高性能：–内存数据库(IMDB/MMDB)技术实现了这样一个关系数据库：其所有运行时数据都位于内存中且数据结构和访问算法利用该特性实现了性能突破。–对IMDB技术而言，磁盘用于实现持久保存和恢复，而不是用作主要的数据库存储位置。–在同样的环境下，即使最简单的SQL，磁盘数据库的响应时间与之相比要差几个数量级u占用资源少：–与完全高速缓存的RDBMS相比，IMDB技术使用的CPU资源少很多，这是因为它避免了用于管理内存缓冲区并处理多个数据位置（磁盘和内存）的开销。u标准化：–同其他关系型数据库管理系统一样，内存数据库采用关系型数据模型，支持ODBC、JDBC、SQL-92等标准API。u完整的数据库特性：–能够对事务、并发、锁进行管理控制。–通过检查点（Checkpoint）文件、日志文件在磁盘的存储，保证数据的持久性16为什么要采用内存数据库－对比分析一次性投入较大，维护成本低前期成本相对较低，维护成本高一次性投入较大，维护成本低投入成本相对简单比较复杂相对简单可维护性相对简单比较复杂相对简单应用开发复杂性利用数据库间的复制技术或应用级开发开发专用的同步函数利用数据库间的复制技术数据同步内存优化，相对简单需要更改应用数据结构和程序磁盘层面调优，手段比较复杂性能优化Cluster与SMPSMPCluster与SMP可扩展性GB级GB级TB到PB级数据容量支持数据与应用分离（C/S结构）或嵌入到应用中（直接数据访问）数据与应用紧密耦合，难以分离支持数据与应用分离（C/S结构）数据独立性关系型数据模型，满足ACID，标准SQL和数据访问接口，开放性好根据应用需求组织的数据结构，通过专用的API函数访问，开放性差关系型数据模型，满足ACID，标准SQL和数据访问接口，开放性好可管理性高，存取速度一般是磁盘数据库的10到1000倍，微妙级到毫秒级高，微秒级低，磁盘I/O成为瓶颈，查询速度一般在百毫秒级存取效率内存数据库应用级共享内存模块磁盘数据库比较项目√√17内存数据库-使用定位查询与缓存数据库–在数据存储架构中，将内存数据库定位为面向高速查询应用的查询数据库和中间或临时数据的缓存数据库。该类数据的来源或持久化依旧是磁盘数据库分割数据子集–内存数据库中只存储高速查询应用需要访问的部分数据。内存数据库中的数据是磁盘数据库的数据子集。–内存数据库中缓存的数据也是最终磁盘数据库中数据的一个子集。延伸模型–在内存数据库上的数据模型，是针对高速查询和缓存应用特点设计的延伸模型，与面向更新的磁盘数据库上的模型并不完全一样。数据复制–内存数据库和磁盘数据库之间一般不进行实时同步，而采取的是定时或约定时机复制的机制。18内存数据库-使用定位19内存数据库-使用方式-确认哪些数据是热数据？u需要分析需要高速处理的应用需求。–对于B/OSS系统，这一类需求包括：客户认证、热计费和OCS后端处理时的客户资料访问等等。u确定内存存储数据的范围高速查询应用客户资料数据热数据热数据20内存数据库-使用方式-热数据范围举例帐户标识、付费方式。帐户用户标识、帐户标识、帐目类型组标识、支付限额类型、支付限额下限、支付限额上限、支付百分比、优先级。帐务定制关系用户标识、限额类型、帐目类型组标识、费用额度、限额控制级别、处理动作。用户限额控制信息商品实例标识、对应的商品标识。商品实例产品实例标识、属性标识、属性值、生效时间、失效时间。（扩展属性存储某些产品特有的属性，如ADSL产品的带宽属性。）产品实例扩展属性用户标识、亲情号码、亲情用户标识、亲情号码级别、网内网外标志。用户亲情号码信息用户标识、用户群标识。用户归属用户群产品实例停拆信息：产品实例标识、停拆机类型（用户停机、欠费停机、预拆机、拆机等）、开始时间、结束时间。产品实例停拆信息产品实例/用户：产品实例标识、用户标识、区号、用户号码、开通时间、归属地（本地网、服务区）、产品实例状态、对应的产品标识、信控方式（预付费、日控、月控等）、归属商品实例标识、归属产权客户标识、用户信用额度。产品实例/用户信息内容信息分类21应用内存数据库后的系统重构-制定分级数据访问策略22应用内存数据库后的系统重构-查询路径的差异化23B/OSS系统的加速引擎-内存数据库-发展历程u第一代：用户定制的内存管理模块–通过应用程序来管理内存和数据；(主要目的:提高性能)；–和应用耦合度高–不支持SQL语句,不提供本地存储,没有数据库恢复技术；–性能好但很难维护不能复用；u第二代：简单功能的内存数据库–能够快速处理简单的查询；–支持部分的SQL语句和简单的恢复技术；–主要目的是能够快速处理大量事务；u第三代：通用的内存数据库–针对传统的商业关系型数据库领域，能够提供更高的性能、通用性以及稳定性；–提供不同的接口来处理复杂的SQL语句和满足不同的应用领域；–可以应用在磁盘数据库原有的所有应用领域。24B/OSS系统的加速引擎-内存数据库-功能要求u完备的OLTP数据库u显著的性能提升–大并发的支持–实时访问的支持u高可用、高可靠、高安全性u可维护、可管理u易于集成、易于开发25v磁盘접근없이内存에직접접근하여데이터읽기연산수행v데이터갱신은内存에서직접하고갱신내용을Disk의Logfile에수록v때때로변경된内存내의데이터페이지를Disk의Datafile에반영v执行读数据操作时，直接访问内存，不访问磁盘v执行更新数据操作时，直接在内存中进行，将数据更新写入磁盘日志v在特定时间（检查点）将发生改变的数据页写入磁盘数据文件启动时数据库就常驻于内存中并且在内存中对数据库进行操作的数据库管理系统启动时数据库就常驻于内存中并且在内存中对数据库进行操作的数据库管理系统MainMemoryMemoryMemoryBackupFilesBackupFilesLogfilenLogfile1DBSLOGSLoganchorAltibaseDatabaseStartupStartupCheckpointingCheckpointingLoggingLoggingBufferBufferDiskTablesSpaceMemoryMemoryTableSpaceTableSpace内存数据库–完备的数据库架构26内存数据库-产品架构§提供多种通讯方式，根据应用特性灵活配置，获得系统的整体最优性能§提供Query、事务、恢复、开发、管理的透明性27内存数据库与磁盘数据库的区别ApplicationsSQLAltibaseSQL解析通讯协议MemoryAddress磁盘镜像PrivateBufferTcp/ipipcMemoryDatastoreCheckpointAltibaseApplicationsSQLSQL解析通讯协议Table#Page#HASHDataStoreBufferPoolPrivateBuffercopyTcp/ipipc磁盘数据库28§(1)单纯DML性能§MemoryTableDML:磁盘数据库的10倍§MemoryTableSelect:磁盘数据库的2~5倍05000100001500020000250003000035000400001234567[ALTIBASE]SELECTINSERTUPDATEDELETE