第五代交易系统上线回顾

第五代交易系统上线回顾文/智西凯李岩系统上线一波三折第五代交易系统的上线过程可谓是一波三折。原计划第五代交易系统包含期权系统一起上线，服务器等设备统一规划建设和测试。后来期权系统提速，需要2015年中提前上线。我们相应调整了工作计划，将工作重心转移到期权系统方面，特别是2015年春节后，加紧进行期权系统建设和测试工作。经过同事们加班加点的努力，期权系统建设各项工作按期完成，系统通过了各项测试及评审，包括2015年6月初的行业专家评审，上线进入倒计时。6月中旬，市场风云突变，期权系统上线工作也戛然而止。根据证监会的统一部署，全所工作重心转向全力开展各项救市、维稳等工作，第五代系统的建设不可避免受到影响。到计划2016年上半年上线时，时间非常紧张。特别是必不可少的并行测试、全网测试等，需要充分合理安排，争取把期权测试、市场突发状况影响的时间补回来。上线时间越来越近，测试中仍不断有新的问题出现，原来计划上线前一个月的变更封闭期不得不多次打破。系统上线最后一次变化发生在4月底。原计划5月3日上线，4月29日晚开始实施各项变更工作，然而，4月28日下午突然接到通知，为了给市场预留更充分的新交易规则消化时间，上线时间调整到5月9日。大家立即调整工作计划，及时发出相关通知，协调技术支持厂商人员调整计划，同时仔细修改、检查各项操作手册、脚本和配置，确保检查修改到位，不留隐患。好事多磨，经过不懈努力，5月9日新系统上线试运行终于圆满成功。经过近一个月的运行检验后，于6月6日正式上线启用。系统规模今非昔比第五代交易系统在服务器数量上也今非昔比。目前第五代交易系统包括生产环境、对内测试环境、对外测试环境、开发环境、期权系统等多个系统环境：生产环境245台，部署架构上采用同城双中心部署，其中通信服务层采用双中心“双活”设计，核心业务层采用双中心2+1高可用设计；对内测试环境234台，基本保持与生产环境1:1的配置，用于程序上线测试、冒烟测试等各项测试，是保障生产系统安全运行必不可少的环境；对外测试环境50台，满足会员单位、基金公司等市场参与者系统测试需求；开发环境200台，满足各项软件开发需求；期权系统90台，满足期权系统各项业务开发测试需求；加上正在建设中的郑州异地灾备中心系统，第五代系统服务器规模将超千台。系统管理有条不紊在系统建设和日常管理过程中，运维人员逐步积累了一定的运维管理经验：安装部署近千台服务器系统，完成相关系统连接配置和调试；处理了20多次服务器设备故障，包括硬盘、电源、内存、主板等故障；新系统上线以来，根据整机故障模拟演练流程，2次顺利完成服务器整体更换工作；上线前完成Linux操作系统安全漏洞与补丁评审；分析了RHEL一年来的1000多个补丁，完成策略制定，逐步实施到生产环境；完成5套高可用方案制定和实施，解决高可用部署中的异常关机等多个问题；完成GLUSTERFS功能与性能测试；参加各项系统测试和演练，包括验收测试、压力测试、灾备切换测试、上线演练、投产首日交易演练、回退演练等。系统运维管理中要特别注重以下6个方面：（1）监控。要建立完备的监控功能。任何一个小的监控功能缺失都会造成一种故障模式的监控疏漏。（2）流程。运维体系中的各环节犹如散落的珠子，需要利用“流程”这条线将珠子串起来，用“标准规范”来控制前后顺序及间隔，形成完整的链条，促使运维工作有条不紊地开展。（3）工具。流程与规范要有工具支撑。不仅要关注动态指标，还要关注静态配置。（4）测试。包括测试系统的建立、测试流程的有效执行、制订预案开展应急演练等。（5）标准化。标准化可以统一系统运行环境。多层次的标准化包括运维对象标准化、技术架构标准化、应用交付标准化。（6）总结。运维人员应将学习成果与日常工作相结合，独立及深入思考发现的问题，善于发现不同问题之间的联系，并将其升华为方法论，做好总结与传承。新的系统新的责任新系统上线必然给我们带来新的挑战。系统硬件服务器、操作系统、消息中间件、万兆网卡、数据库等分别采用了不同公司的产品，整合测试、异常分析、运维管理的工作任务繁重，新系统安全稳定运行的挑战又摆在我们面前。我们把系统上线看作是系统建设、测试、特别是运维工作新的起点，在各级领导的带领下，保障系统安全稳定运行，同时在新系统平台上做好深港通、期权系统等建设测试工作，全力支持资本市场各项重点业务创新工作的开展。