中小银行运维自动化

中小银行运维自动化管理目录2运维管理中的操作控制难题1运维标准化自动化解决之道2作业任务精确控制监控巡检准确定位应急处置自动调度...........................运维标准化自动化实施要点3运维管理总体目标-防范风险、优质服务、控制成本、系统建设稳定运行精确控制资源管理标准服务-应用整体监控-事件处置管理-知识维护使用-变更发布管理-运维服务标准化-运行成本可计量-技术规范体系化-运维架构规范化-制度体系层次化运维管理-作业调度管理-安装规范核对-巡检全程控制-配置信息管控-设备资源管理-运行数据采集-资源性能分析-容量总体规划-数据资源管理精确操控管理是运维管理的基础，也是科技服务质量的保障作业管理难题-漏做错做、任务异常、执行风险、隐患排查大型商业银行每日批作业任务数已达数千个，中小型商业银行也近几百个，随着业务复杂度及三方业务增加，任务数有增无减，并且变更频率教高，控制难度增加；多个系统、多个作业任务之间形成了非常复杂的逻辑关系，仅靠表格等手工管理方式，很难降低任务执行差错率；针对特殊日期的批作业任务临时变更，很难精确控制，一旦作业任务执行失误，影响范围较大，很难处理；很难精确记录作业任务执行时长、时点、报错等情况，无法统计分析，发现作业任务执行过程中的潜在风险；...........................................................作业管理作业管理手段-任务登记、变更控制、逻辑调度、过程记录、隐患排查任务定义？关系管控？技术标准？过程监控？结果检查？故障联查？任务优化？作业管理运行监控难题-预警、发现、定位、排查、隐患、预估、采集、资产监控巡检关键业务交易出现问题，想排查故障原因，那么：网络环境如何？网络报文正常？系统资源有瓶颈吗？中间件有问题吗？数据库有瓶颈？应用程序有报错？业务数据有问题吗？客户请求端状态如何？运行监控难题-预警、发现、定位、排查、隐患、预估、采集、资产监控巡检2013年3月17日监控报警情况---缺乏网络通路质量检测直接报警【只有表象报警、无原因报警】15:37ECIF系统：三条报警ToFront0307error、ToFront0307error服务测试异常15:38收单系统：03801Successrateislow!Pb751BUSY！15:40电子支付系统：EPAYthreadisbusy15:44个贷风险管理系统：plms4和plms2、plms5、plms6阻塞线程数高、15:44信贷风险流程管理系统：weblogic线程数高、jdbc连接池等待15:45操作风险管理系统session锁等待15:45图前监控采集机10.1.7.15报错15:46验印系统ssl握手失败分析：1、从15:37到15:46，10分钟内统一监控平台共有19条应用系统1级告警，但因总行网络环境监控手段的缺失，未能第一时间发现网络线路质量问题，因此，如何提早发现网络通路问题，如何快速定位故障点，是故障早发现快解决的关键。2013年3月17日网络通路典型故障应急难题-经验积累、工具标准化、逻辑关系控制、快速准确执行？？？应急处置其它运维操作难题-数据全程管理、标准化变更发布、环境合规检查、资产动态采集验证其它运维操作中小银行运维标准化自动化的意义--人员、经验、风险、成本实施运维操作自动化的关键目标是什么？：运维操作管理应该细分为如下几个领域，每个领域的具体目标是不同的：1）操作控制：准确调度；2）监控诊断：固化知识；3）应急处置：精确执行；4）变更发布：控制差错；5）规范检查：准确核对；6）资产采集：信息准确；7）数据管理：全程控制；如何有重点分步骤的实施运维操作自动化？：根据细化后的运维操作流域及其管理目标，分别设计方案及标准，然后按照：首先标准化，其次自动化，最后制度化的路线进行实施；运维操作自动化与哪些运维管理环节相关？：与一线建设、事件管理、应急处置、数据管理、运维标准化等运维管理环节密切相关，同时考虑人力配备、技术能力问题【短期引入】；如何保持运维操作标准化的持续性？：通过问题日常跟踪机制【日积月累】、运维操作维护工作流程【查缺补漏】、相关人员岗位规划、以及工具持续优化【实用原则】达成；意义及思考目录11运维管理中的操作控制难题1运维标准化自动化解决之道2运维自动化领域的细分标准化是自动化的前提管理体系是有效实现的基础...........................运维标准化自动化实施要点3运维操作领域细分-领域不同，目标及要求则不同，实现策略与方法不同操作控制：常规操作任务的定义、调度、执行、监控、变更、维护、优化作业调度：风险控制、运行评测、变更控制、配套检查操作控制：配置备份、环境比对、时点检查、标准安装数据操作：系统备份、业务备份、恢复执行、查询流程、销毁控制监控诊断：报警判断、故障定向、问题定位、二次采集、标准处置、资产核对运行监测：系统、应用、数据、外联环节的主动探测，运行数据采集故障诊断：监控集成、二次判断、故障定位、现场采集故障处置：处置执行、状态判断、可用验证、故障隔离应急处置：应急环境与条件自动检测、应急流程实现与维护、应急操作自动执行变更发布：变更评审关键点管理（非功能需求在线核对）、应用发布自动化（标准）、系统变更自动化（规范）规范检查：监管/管理规范核对、安全自动检测、配置信息自动核对、安装规范运维操作管理的实现：1）标准化；2）工具化；3）自动化；4）制度化作业管理体系-制度细则、技术规范、监测优化作业管理体系应急操作管理体系-自上而下、从头落实、技术细化、持续改进应急管理体系整体预案技术预案系统手册技术演练持续维护识别业务风险控制故障影响指导整体工作明确故障升级及处置整体流程，建立规范整体了解关键业务系统结构，梳理各类故障处置方法以实战出发设计演练场景，验证操作有效性将系统的变更、典型故障，及时维护到应急管理手册之中技术操控管理重点范畴业务影响分析整体预案制定事件定级流程设计系统结构梳理故障处置步骤日常变更管理演练场景设计典型故障管理实操与评测分析建立设计实操评估整体工作落实策略监控巡检管理体系-认识对象、明确指标、操作测量、评估优化监控管理体系•Checkchangerecords•Rollbackapplicationtooldlevel对象构成信息(按层次、分维度)监控KPI指标集(分层级指标、二次诊断定义)监控策略实施说明(按工具设计、分对象定级)全方面多维度梳理应用监测点以体系化的监控指标为参考基础层面构成信息-存储：通道等-网络：通路、会话等-系统：信号量等-数据库：实例等-专用设备信息应用内部构成信息策略统一编码，整体描述应用说明策略的启动条件、频率分层级按维度说明指标-Level1:常规监测指标-Level2:初步定位指标-Level3:深入诊断指标指标二次诊断定义-如：链路中断报警，需确认哪一个层面指标的详细说明（知识库）指标采集及处理方式说明应用外部关联信息-链路、文件、接口等应用交易信息策略按照不同对象定义报警级别-进程、服务、队列等-交易分类、交易名称、返回码目录17运维管理中的操作控制难题1运维标准化自动化解决之道2运维操作经验的积累与获取识别阶段工作的重点与难点工具适用性选择与人员调整...........................运维标准化自动化实施要点3作业管理实施要点-识别作业管理关键点、分析关键问题分布实现作业管理实施作业逻辑控制：各个作业任务之间往往存在先后逻辑关系，尤其是跨应用系统的逻辑管理需要严格控制作业时间调度：很多作业需要控制执行日期及时间，如周一至周五某时刻做，每月最后工作日做等等作业权限控制：关键作业需要特定角色或者多人复核等，需要进行严格控制作业自动执行：对于将要实施自动执行的任务，应具备哪些条件、应如何改造、如何控制风险作业临时干预：在特殊情况下，如业务部门特殊要求，某些作业不按照计划的时间等条件执行，能否有效控制是关键作业管理成体系：对于作业管理中的人员、信息、流程等要素进行系统化管理，将作业的基础信息、变更流程、人员工作等环节落实在一套管理制度及工具中作业变更标准化：严格控制作业任务在系统投产、节假日处理等情况下的变更及实施批量测试批量开发批量上线批量维护开发中心批量作业拆分业务逻辑实现批量作业流程设计调度接口配置批量开发岗测试部门裁减流程测试运维部、系统部批量变更日常维护批量调度岗系统管理岗运维部门裁减流程启停任务操作批量调度岗批量维护岗批量操作岗应急处置面临的复杂性-系统间关联性高、同城异地灾备环境应急处置实施应急处置操控实施-处置操作标准化、整体设计处置流程、自动操控应急处置实施监测采集实施-识别监测对象与指标、监测采集过程标准化、实时自动监测采集监测采集实施监测采集实施-运行数据采集目标确定、采集手段梳理、采集流程设计实现监测采集实施关键生产环节的可用性保障-梳理整体环境及链路、确认测试方法、自动测试监测采集实施24运维操作实现的关键因素—技术经验、人员能力、工具实现、持续优化首先要将内部日常运维工作逐步标准化规范化，并形成简洁有效的运维管理过程，记录每个故障、分析成因、跟踪问题，技术经验、解决方案的日积月累。外部技术经验及解决方案的引入，如网上资料、外包资源、项目资源等。技术经验持续优化在实施运维管理的同时，必须考虑配套制度规范及细则的设计，以及技术标准的建立，同时形成不断查缺补漏的工作机制。将运维操作领域进行细化分工，在系统设计、开发、投产、运行监测、优化改进等环节持续落实。24工具实现首先要明确各运维领域细化目标及需求，基于此分析对于工具的详细需求。工具必须具备较强的二次开发能力，充分掌握核心代码，以结果为导向整体设计，不断持续改进运维管理分工的细化，由按系统分工模式，逐步调整为技术专业领域分工。充分利用外包、驻场、项目资源，将上述人员能力，按照标准化模式，输出成为知识、解决方案，形成自身人员能力。人员能力运维自动化工具思考-不是简单的流程化、复杂逻辑控制、实际处理难题.......任务的暂停、延迟、跳过、置换、提前：任务的法定时间因子、前序条件因子、执行令牌因子（临时干预）【任务暂停、任务略过、任务提前、临时调换两个任务的先后顺序等功能支持的情况】任务的时点报警、时长报警：可给固定参考值阀值、也可根据平均时间动态计算阀值任务流的暂停、终止：向其它相关流程发送全局变量信息多个任务流程直接的信息交互：通过全局变量、消息队列等实现对于已经启动的任务流中临时增加任务：实例化后流程可动态修改任务流的单步执行：可控制流程进行单步执行任务执行失败后的重做：任务执行失败后，可选择执行错误任务进行纠错、判断、报警等感谢交流