搜索
2019/9/201ODS规范培训--技术分册与ODS应用中国电信股份有限公司广州研究院广东省电信有限公司研究院2019/9/202提纲ODS规范技术分册系统技术架构系统技术要求系统实施系统部署硬件评估方法示例第三方工具评价标准及产品比较ODS应用附件ODS数据共享ODS应用2019/9/203系统技术架构使用者其他应用HTMLWeb服务业务组件数据访问用户界面界面组件ETL/EAI组件生产系统数据界面生成框架规则配置数据服务组件接口层CRM数据计费数据结算数据……整合层参与人产品帐务事件资源地域数据处理组件汇总层汇总数据区域数据整合数据存储数据共享数据应用外部访问数据源ODS系统REPORT2019/9/204系统技术特点批量数据加载和实时数据更新并存三范式模型、星型模型、宽表模型并存细粒度数据和汇总数据并存事务型查询和分析型查询的并存数据保存周期介于生产系统和EDW之间ODS系统不同于事务处理为主的生产系统，也不同于统计分析为主的数据仓库系统。系统需要支撑跨域数据查询,数据共享等功能，还需要支撑生产系统对一定周期内运营数据数据的统计监控等功能2019/9/205系统总体技术要求网络与硬件方面采用安全可靠的高速磁盘阵列设备，支持多机高可用群集系统，磁盘阵列与主机系统采用SAN方式连接；采用高速可靠的网络设备，提供高速的I/O能力；主机支持多机群集或海量并行处理技术，支持分区技术；主机采用高可用性(HA)和负载均衡的方式，防止单点故障，提高系统可用性和系统资源的使用率。软件方面选择对OLTP和OLAP应用都具备稳定处理性能的数据库引擎；选择能对数据整合过程进行有效监控和管理的数据整合工具或技术；选择提供各种接入方式的报表查询和统计分析功能的报表工具；选择为业务处理、技术实现等环节提供清晰的系统导航功能的元数据管理工具，；采用能对系统内的软硬件节点进行监控和自动预警的系统监控软件；制定完善的备份与恢复策略，采用成熟的备份软硬件，提供快速备份与恢复功能；为了满足数据的高速加载，系统需进行相关优化操作，优化数据抽取调度策略，避免CPU、Memory、IO等资源的争抢，设计良好的数据文件/表空间/数据表存储规划，保证数据在磁盘的优化分布。2019/9/206提纲ODS规范技术分册系统技术架构系统技术要求系统实施系统部署硬件评估方法示例第三方工具评价标准及产品比较ODS应用附件ODS数据共享ODS应用2019/9/207数据加载系统技术要求－数据整合数据整合技术要求数据转换数据清洗数据抽取数据抽取接口设计应充分考虑ODS系统接口的开放性、可扩展性；接口数据传输控制策略应可靠且完善；具有可靠的接口数据出错处理机制；支持不同的数据源系统平台。支持对多种不同系统平台和数据类型的源系统数据抽取与转换。包括各种关系型、层次型、文件型数据库系统及各种文件格式等源数据；数据抽取尽量减少对源系统的性能影响；支持多种数据装载方式；数据抽取接口应支持实时、准实时数据抽取，例如接口表、FTP、中间件、WEB-SERVICE等；ETL工具支持二次开发，并通过对内嵌脚本语言、存储过程、插件及外部程序来处理复杂的处理，提供调试、跟踪功能；ETL过程支持多个数据库连接，数据转换与加载处理过程应支持并行处理；对于用户资料、客户资料等核心数据加载要求逐步实现实时更新，最终目标控制在秒级；对于除了核心数据以外的ODS日批量数据抽取加载应在3小时内完成；对于帐单等月批量数据抽取加载应控制在5小时内完成；对于加载到系统的日数据以及月数据要及时整合汇总，应控制在4小时内完成；数据转换处理过程支持各种字符集的转换。数据整合过程2019/9/208数据加载系统技术建议－数据整合数据整合技术建议数据转换数据清洗数据抽取实时抽取接口建议采用自行开发的WEB-SERVICE接口或成熟消息中间件产品；批量数据抽取建议源系统提供文本格式文件并FTP到ODS；数据转换与加载建议采用成熟ETL工具；对数据表比较大，建议采用增量数据抽取方式，定期进行全量更新，对源系统表没有增量时间标志的，由源系统方进行必要的改造，增加时间戳等；在数据整合过程中先进行单一系统内数据整合，然后再进行跨系统的数据整合；对于小数据量的一些管理数据、配置数据等，可以采用全量抽取方式进行抽取；建议数据抽取周期可根据接口对象不同和实际的数据获取需求不同而采取有针对性的设计；建议批量抽取操作尽可能在相关生产系统空闲的时段执行；批量数据转换与加载，建议在应用设计时考虑加载转换的并行化，建议采用内存处理技术；源生产系统可采用改造业务逻辑、数据库触发器、数据库日志触发等不同的方式来实现实时向ODS系统提供需实时提供的源数据。数据整合过程2019/9/209系统技术要求－数据存储数据模型技术要求汇总数据层整合数据层接口数据层对于接口层数据模型应贴近源系统数据模型；整合数据层中的数据模型遵循中国电信企业数据模型，作为企业数据标准指导外围系统逐步统一数据模型；ODS各层数据模型的设计需要考虑ODS需同时支持OLTP和OLAP类型应用的特点；模型设计需要考虑高速批量加载及高并发查询的快速响应；模型能够支持不同粒度的查询与报表需求，综合考虑业务需要，具备适应性；通过数据模型的规范化设计，减少不必要的数据冗余；模型具有良好的扩展能力。数据分层存储2019/9/2010系统技术要求－数据存储（续）数据存储技术要求汇总数据层整合数据层接口数据层能够存储海量数据，满足TB级以上数据存储要求；应能够支持实时数据快速插入更新，也可以支持批量数据快速加载；应保证物理数据存储的安全性，避免硬件损坏造成数据丢失；应支持过期数据的清理功能，节省存储空间；日增量接口层数据保存1天，月增量接口层数据保存1个月；整合层三户数据长久保存；详单数据保存1－3个月；其他整合层数据保存13月；汇总层数据保存3年；数据存储能够很好地支持OLTP和OLAP相结合的混合型数据操作；数据存储能够满足在大数据量、大并发量下的快速数据操作，支持数据行级锁、多CPU并行、多服务器并行；数据存储具备开放性，支持主流的硬件平台、软件技术、网络协议、开发技术标准；数据存储具备可管理性，提供管理工具对数据操作过程进行监控，支持设置相应的阀值告警；数据存储具备数据存取的高可用性，避免单点故障，实现实时故障切换；数据存储具备良好的可扩展性，包括数据存储容量、处理性能的扩展，能够实现在线的扩展操作；数据存储具备高安全性，对系统权限、数据权限、角色权限有明确的定义和管理，并对数据操作提供审计功能。数据分层存储接口数据层数据分层存储2019/9/2011系统技术建议－数据存储数据模型技术建议汇总数据层整合数据层接口数据层接口数据层数据模型可以采用平面表，表结构可以根据需要做无索引、无主键、无外键设计；整合数据层数据模型应采用第三范式的模型设计，考虑到ODS的特点和需要，数据模型可进行适度地不规范化处理；汇总数据层模型设计可以采用宽表、星型模型，也可以进行适度地不规范化处理。数据分层存储2019/9/2012系统技术建议－数据存储（续）数据存储技术建议汇总数据层整合数据层接口数据层建议采用成熟的企业级数据库，支持OLTP和OLAP类型数据混合型操作，满足海量数据的存储和大并发性操作；建议使用成熟的数据建模工具，能够支持主流的数据库；建议数据库采用表分区技术，提高数据的访问性能和可操作性；建议使用集群技术/并行处理技术，提高数据操作的性能、稳定性和可扩展性；建议提供数据库的自动诊断和调优功能，提供各种优化建议：内存参数、表结构、索引、SQL语句等；建议数据库支持在线备份恢复机制；建议支持灾备解决方案，实现同城或异地数据保护。数据分层存储2019/9/2013计算应用系统技术要求－数据应用数据应用技术要求动态报表固定报表数据查询数据应用分类90%查询应在10秒以内返回，99%查询在30秒以内返回。固定报表等前端业务响应时间要求小于10秒，动态报表响应时间要求小于30秒；查询功能和报表工具支持大用户量的高并发访问；应用程序能监控查询的运行进程，并停止长时间未响应的查询，控制资源使用效率。提供查询时间预估功能；查询功能和报表工具提供高效的数据缓存机制，对重复操作无需再次直接查询数据库；应用支持数据级安全性，报表工具支持应用级安全性；报表工具应具有良好的易用性以及快速开发环境；报表工具支持各种复杂报表，报表能迅速以所见即所得方式进行显示；报表工具应提供二次开发的接口；报表展示界面友好，便于界面集成；其他系统通过界面集成访问ODS系统时，应保证ODS系统与接入系统的统一认证；报表工具支持报表的定时生成与发布；计算应用支持图形化、向导等方式定制各种计算规则；计算应用支持复杂规则的脚本定义；计算应用提供高效的规则计算引擎。2019/9/2014计算应用系统技术建议－数据应用数据应用技术建议动态报表固定报表数据查询数据应用分类对查询SQL进行优化，对大数据量输出的查询进行分页显示，减少网络传输，全面提高查询性能；建议使用连接池、负载均衡、集群等技术提高查询的并发性；使用成熟的第三方报表工具；对复杂应用建议利用第三方报表工具的二次开发接口自行进行开发；对数据量大、规则复杂的计算应用建议使用自主开发的程序完成；对业务逻辑简单的计算应用建议采用ETL工具完成；对数据量小的计算应用建议采用数据库存储过程等处理方法。2019/9/2015系统技术要求－数据共享数据共享技术要求FTP数据视图数据服务支持数据视图、FTP文件和Web服务等方式对外提供接口服务；支持高并发性访问；Web服务响应时间应控制在5秒以内；FTP文件单文件不超过2GB，超过2GB时分割成多个文件。数据共享访问2019/9/2016系统技术建议－数据共享数据共享技术建议FTP数据视图数据服务对共享数据的提供时间进行控制并可灵活配置。建议一般在营业时间只允许实时查询服务的访问（特殊情况除外），在非营业时段进行准实时批量数据共享操作。同时在进行ETL操作时也应该避免同时进行准实时批量数据共享操作；通过连接池、负载均衡、集群等技术提高访问的并发性；对大量并发的准实时批量数据共享操作可以按资源占用和所需时间进行合理调度。数据共享访问2019/9/2017提纲ODS规范技术分册系统技术架构系统技术要求系统实施系统部署硬件评估方法示例第三方工具评价标准及产品比较ODS应用附件ODS数据共享ODS应用2019/9/2018实施原则ODS系统实施原则整体规划分步实施统一模型统一接口保护投资讲究实效稳健推进平滑过渡加强管控有序实施2019/9/2019数据仓库其他系统计费系统实施建议CRM系统流程和管控周边系统改造建议1、业务系统增加相关的数据质量修改流程和环节2、源生产系统增加数据质量负责等岗位3、ODS系统的上线后需要增加相关的信息管理、数据稽核等岗位流程和岗位调整建议ODS系统承担着数据质量管理的重要任务，同时系统和周边生产系统存在大量的准实时访问接口，客观上要求加大IT管控的力度，提高系统建设质量，减少系统风险IT管控支撑建议1、完善客户统一视图信息查询2、完善客户销售服务流程3、移植运营分析报表和批量计算4、接口改造1、移植运营分析报表和批量计算2、移植清单、帐单对外提供查询3、接口改造1、其他系统改由ODS获取共享信息2、接口改造1、EDW从ODS抽取整合后数据2、EDW把营销派单和客户洞察等数据发送给ODS3、接口改造2019/9/2020实施进度数据整合阶段（2007年8月——2008年6月）应用开发阶段（2008年6月——2009年12月）完善提升阶段（2009年12月以后不断完善）建立初步的ODS体系架构，整合BSS域的全部核心数据、OSS域中的工单与112故障单及商务领航平台的订购相关数据；形成客户统一视图，解决客户品牌经营亟需的运营需求；建立初步的数据