业务数据全生命周期管理工作思路

业务数据全生命周期管理工作思路目录123数据管理背景及目标数据全生命周期管理数据管理工作流程应建立数据安全管理制度，规范数据的产生、获取、存储、传输、分发、备份、恢复和清理的管理，以及存储介质的台帐、转储、抽检、报废和销毁的管理，保证数据的保密、真实、完整和可用。《商业银行数据中心监管指引》银监办发[2010]114号•对重要信息资源设置敏感标记，依据安全策略严格控制用户对有敏感标记重要信息资源的操作。•检测系统管理数据、鉴别信息和重要业务数据在采集、传输、使用和存储过程中完整性，并采取必要的恢复措施。•应采用加密或其他有效措施实现系统管理数据、鉴别信息和重要业务数据采集、传输、使用和存储过程的保密性。《金融行业信息系统信息安全等级保护实施指引》JRT0071-2012银行业金融机构1应当制定全面科学有效的数据管理制度，包括但不限于组织管理、部门职责、协调机制、安全管控、系统保障、监督检查和数据质量控制等方面。《银行业金融机构数据治理指引》银保监发【2018】22号•建立实施信息分类保护体系，培训员工信息保护流程。•严格管理客户信息的采集、处理、存贮、传输、分发、备份、恢复、清理和销毁。•保存交易记录，确保完整性，安全保存和可恢复。《商业银行信息科技风险管理指引》银监发[2009]19号1.1数据管理的外因--金融行业监管的相关要求确保数据集至少有一个完整年度的数据周期，能够看到一个完整年度的数据，这通常是数据保存周期的最低要求。越来越多的需求要包括去年加上今年的数据，这样会要求设置25个月，使得能够处理2年以上时间段的数据分析。主要应用于内部管理的数据使用，受业务使用需求驱动。此类规则主要是受税务及其它报告法规的需求驱动，在国际会计准则下，一般都要求保留7年的可查询业务场景数据。此规则也是为适应经济情况分析的需求，基本近似于一个完整的经济周期，对于制定合理的业务规划预算是非常重要的分析数据源。银行的数据保存周期策略，最常用的经验法则是13个月规则和7年规则。1.1数据管理的外因--国际会计准则等业务管理需求1.2数据管理的内因—监管审计和经营分析和数据查询需求降低成本：按业务与技术分析要求，控制生产在线数据容量，降低高端存储的容量成本提升性能：通过迁移并清理历史数据，重新回收数据库的存储资源，提升应用系统交易与批量性能有效处置：将生产数据库容量控制在较小的范围内，在发生数据库等故障的情况下，便于快速处置在线生产数据归档瘦身近线生产数据数据迁移按需回退结构数据非结构数据归档库交易访问明细查询数据调用归档瘦身61.2数据管理的内因—解决关键系统数据库容量管理问题目录123数据管理背景及目标数据全生命周期管理数据管理工作流程2.1数据的全生命周期管理—定义•数据全生命周期管理：是指根据数据价值随时间推移的演化关系，提供高效、低成本、安全、访问便捷的管理架构。•数据全生命周期管理贯穿于数据产生（开发设计、投产变更）、数据使用（采集、修改、存储、调阅）、数据保管（备份、恢复、测试）、数据销毁等各个环节。活跃10%半活跃20%静态70%创建安全与保护保存与归档访问与查找回收大多数是非结构化2.1数据的全生命周期管理—目标•数据是我行的重要资产之一，健立健全数据管理体制，满足监管要求，提升数据管理能力，充分发挥数据价值，为经营决策提供有力支撑，已成为当前科技工作的主要任务。NormOptinizeSupportEfficiency全生命周期管理规范管理提高系统资源使用效率，确保系统安全、稳定、高效运行。提高效率通过规范数据的生命周期管理，提高数据的整体管理水平，满足监管要求。做好历史数据管理，为客户服务和经营分析提供数据支撑数据支撑优化数据存储结构，有效控制在线数据规模，提高生产数据访问效率。优化存储结构管理对象结构化数据非结构化数据数据存放策略在线近线离线数据访问方式平台接口生产数据库归档/历史数据库大数据平台备份工具/磁带生产存储内容检索平台备份工具/磁带DBDB在线访问专门工具访问专门工具访问在线访问专门工具访问恢复后访问恢复后访问实现历史数据的“管、控、查”2.1数据的全生命周期管理—方案2.1数据的全生命周期管理—理论与方法•在数据的整个生命周期中，不同阶段的数据其性能、可用性、保存等要求也不一样。•通常情况下，在其生命周期初期，数据的使用频率较高，需要使用高速存储，确保数据的高可用性。•随着时间的推移，数据重要性逐渐降低，使用频率会随之下降，应将数据进行不同级别的存储，为其提供适当的可用性、存储空间。•最终大部分数据将不再会被使用，可以将数据清理后归档保存，以备临时需要时使用。在线阶段归档阶段销毁阶段系统快照用户快照在线归档离线归档历史数据平台影像平台老化表磁带光盘低端磁盘结构化非结构化归档清理清理转移在线归档阶段（也被称为近线阶段）：将访问频度较低且应用需求不高的数据从应用中分离出来，保存在另外的磁盘并提供相应的查询；离线归档阶段：将访问频度较低且应用需求不高的数据从应用中分离出来，保存在磁带、光盘及低端磁盘上。离线归档后不提供信息联机查询入口，如有相应的查询要求，需特定的查询工具或将归档数据导入相应系统。数据生命周期管理流程目录123数据管理背景及目标数据全生命周期管理数据管理工作流程3.1数据管理工作流程—各阶段的主要管理内容15423设计（开发）阶段：结构化数据支持读写分离，非结构化数据支持按时间和业务部门进行分离；充分考虑数据清理机制。投产变更阶段：评审《数据管理服务协议》，确认协议中的备份策略、清理策略的合理性。修改维护阶段：根据通过审批流程的《哈尔滨银行应用系统生产数据维护申请书》进行数据维护，并记录相关信息。数据调阅阶段：业务部门提交经主管业务部门审批通过的《哈尔滨银行应用系统生产数据调用申请书》。经科技部审批通过后，运维中心提取数据并漂白后反馈业务部门。数据备份阶段：根据已签订的《数据管理服务协议》建立备份策略，并制定恢复测试计划，验证备份数据的可用性。数据管理6数据销毁阶段：对超过保管期限的生产数据提交拟销毁数据清单和申请，经科技发展部审批通过后，在办公室和安保部全程监督下实施销毁。3.2数据管理工作流程—数据管理服务协议•数据管理服务协议是为保证各应用系统环境及业务数据的安全，确保在生产系统发生故障、事故或者灾难时能够快速和完整的恢复生产环境数据，满足相关业务部门、稽核、审计以及监控部门对数据的调阅和检查要求而制定的协议文档。•数据管理服务协议是明确系统环境数据和业务数据的备份内容、备份方式（在线、近线、离线）、数据保存周期、数据清理规则等内容。数据备份分类系统环境备份业务数据备份操作系统数据库软件中间件系统应用程序应用日志确认人运维经理：主要负责操作系统、数据库软件、中间件系统以及相应配置文件需备份内容的确认工作以及根据已确定的数据管理协议内容提交备份申请。研发经理：主要负责应用系统、应用配置文件、应用日志等需要备份内容的确认工作。业务经理备份内容备份内容备份频率保留周期备份任务名称备份内容备份频率保留周期备份任务名称备份内容备份频率保留周期备份任务名称备份内容备份频率保留周期备份任务名称备份内容备份频率保留周期备份任务名称清理规则清理周期数据库零级数据库正文非结构化数据备份数据备份模式及保留周期运维经理研发经理业务经理签订《数据管理服务协议建立数据备份及清理策略按协议执行备份及清理任务检查数据备份情况并测试数据有效性3.3数据管理工作流程—数据调阅流程3.3数据管理工作流程—数据调阅流程申请单位申请日期申请人联系方式申请人所在单位负责人数据所在系统数据调用目的：□业务分析□业务测试□审计□案件分析□财务检查□数据上报□其他：数据使用环境：□测试环境□其他环境：调用数据内容：数据提交时间数据使用截至日期数据提交周期□一次性□每月定期（需每年审批一次）□其他数据屏蔽要求（如无特殊要求，缺省按照管理规范中数据屏蔽要求执行，如不能执行缺省屏蔽，请详细说明原因）数据保密声明：本单位保证：将严格遵照以上声明的目的使用数据，保证不向声明使用范围之外的任何人员扩散，否则，本部门自愿承担因数据非法扩散给银行造成的经济损失。本次申请审批通过后保证自动生效。业务主管部门意见签章：业务主管行长意见签章：银行计算机系统生产数据调用申请书申请书要点：1.对数据调用目的进行细分；2.区别数据使用环境：测试环境、生产环境；3.明确数据提交周期：一次性、每月定期、其他；4.明确要求描述数据屏蔽需求，为数据脱敏处理提供依据。3.4数据管理工作流程—数据备份流程人员角色业务管理人员系统开发人员应用管理员系统操作人员备份数据管理员介质管理员系统运行负责人岗位描述是指对各类生产系统的业务功能进行日常维护管理的人员是指对各类生产系统进行日常应用开发管理的人员是指对各类生产系统进行日常维护管理的人员是指对各类生产系统进行日常操作的人员是指对数据备份的主要软硬件环境进行管理的人员是指对备份介质进行日常维护管理、对备份有效性进行检查确认的人员数据备份的审批人和监督人工作职责负责提出业务数据备份的需求负责提出和确认数据备份需求，并配合完成数据备份策略的制定负责对各类数据备份策略的制定和备份申请的提出。负责执行预先定义好的数据备份任务和数据备份检查任务负责数据备份软硬件的安装、卸载、变更和维护，数据备份策略的制定，以及数据备份任务的建立、变更和撤销负责备份介质的存放、保管、检查、转移和销毁负责各类数据备份策略的审批，数据备份任务建立、变更和撤销过程的审批，以及对系统管理员和数据管理员在数据备份管理方面工作的监督。备份策略分类数据备份周期数据保留时间数据备份介质的选择数据保管地点及份数系统环境备份策略不超过1个月不小于3个月核心及关键类系统数据备份介质选择虚拟带库和物理磁带库两地机房各一份应用环境备份策略1～3个月1～3个月磁带库磁带仅在应用所在机房保留一份业务数据备份策略数据库零级备份每天不少于3天虚拟带库和物理磁带库同城两地机房各一份数据库正文备份可选每天/每月/每年可选一个月/一年/永久可选虚拟带库或物理磁带库可选一份/两地机房各一份其他数据文件备份可选每天/每月/每年可选一个月/一年/永久可选虚拟带库或物理磁带库可选一份/两地机房各一份岗位职责表数据备份策略表3.4数据管理工作流程—数据备份流程1.备份任务建立：签字确认《数据管理服务协议》制定数据备份策略；通过ITIL提出备份策略申请应用管理员开发和建立备份任务数据管理员2.备份任务执行：调度指令执行/监控执行错误通数据管理员系统操作员确认执行结果（正常）系统操作员“永久保留”数据建立“永久保留数据备份工单”系统操作员系统操作员4.执行结果确认：每天备份任务的执行情况将通过邮件发送给备份策略提出申请人进行确认（目前系统组正在做此项工作）5.介质可用性检查：专用介质柜和磁带库中的磁带介质》每年检查一次介质管理员登记检查结果系统运行负责人系统操作员3.变更与撤销：业务变更后的《数据管理服务协议》制定新的数据备份策略；通过ITIL提出备份策略申请应用管理员开发和建立备份任务数据管理员数据归档及管理的工作与目标业务数据管理与归档相关工作、配套制度与细则以应用系统为对象的业务数据管理协议业务数据归档与全生命周期管理整体工作规划目前的数据管理，是从数据已经创建并生成开始，规划对其存储、归档、使用、销毁等，但缺少了关键的数据规划阶段，也就是以目标为导向，确定具体业务场景所应管理的数据内容、分布、标准、控制方式等要素，并按照各个业务场景，形成有针对性的数据管理协议，例如：三方渠道类业务数据管理协议，并将数据管理协议落实到对应的管理工具中，调度相关人员与工具，实现业务数据的全生命周期控制，整体管理工作流程图示如下：业务数据归档与管理当前需要解决的问题管理与审计衔接问题：与信息安全管理、数据治理等内部管理制度与工作，以及内审外审的衔接配合问题【制度-流程-任务-介质】数据视图连续性问题：缺少按业务数据使用场景，进行应用系统的数据结构映射与连续性控制手段，尤其是应用系统换代后的业