搜索
企业数据库维护和大数据技术应用致力于成为国内领先的第三方整体外包服务商新炬网络成立于2006年，注册资本3000万，是上海新炬集团成员企业，致力于成为国内领先的第三方IT整体外包服务商。主营业务涉及系统软件运维服务、运营外包、数据治理、应用优化与应用质量管理服务等，同时提供自主研发的自动化运维、自动化测试、大数据等软件产品和解决方案。新炬连续多年成为ORACLE、IBM和HP中国及亚太区最佳合作伙伴新炬公司目前是中国最大的系统软件服务商，拥有超过500名系统软件相关技术人员通过ISO9001、ISO20000和ISO27001认证，并且是双软认定企业和CMMI3国际认证企业客户覆盖电信、金融、电力、交通、政府和制造等各类企事业单位以电信行业为例，新炬网络正在服务的中国移动用户数已经超过50%海南黑龙江吉林辽宁河北山东福建江西安徽湖北湖南广东广西河南山西内蒙古陕西宁夏甘肃青海四川贵州云南西藏新疆江苏浙江北京上海重庆引领中国IT服务市场的发展在上海、广州、北京、杭州、成都、长沙、昆明等全国16个主要城市设立了分支机构和本地化技术团队，拥有超过500名技术人员。企业级数据库运维介绍与大数据技术应用课程大数据时代下的企业变革电信级数据库架构与数据治理主流数据库技术简介与适用场景阿里巴巴去IOE革命与开源数据库技术大数据技术生态体系总体介绍数据库管理人才的发展现状从泄密事件看大数据对企业的重要性移动行业的数据库支撑企业常用大型数据库Oracle介绍与管理技巧课程目录陈栋前阿里巴巴DBA团队负责人，在互联网大规模数据库运维有丰富的经验王晓征中国移动浙江公司信息技术部副总，中国第一位ORACLEOCM认证大师程永新新炬网络联合创始人，中国数据库、大数据领域资深专家，15年电信行业信息化管理经验，中山大学工商管理硕士，香港大学EMBA。任江涛博士，中山大学软件学院副教授、硕士生导师吴东昕ORACLE大中国区资深架构师，清华研究生毕业后历任中国移动BSS架构师和IBM行业架构师林小勇高级总监、Oracle前首席讲师，长期服务于电信行业，拥有15年ORACLE管理支持经验，致力于电信行业关键核心超大型应用数据库的规划设计，运维支持。讲师团队数据管理的发展历程50年代，数据管理系统出现人工管理文件系统非关系型数据库关系型数据库非关系型数据库文件系统利用操作系统中的文件管理进行数据存取1970年，EF.codd发表论文奠定了关系型数据库1977年，oracle数据库面世伴随着大数据时代来临，处理海量数据的NoSQL走进人们的视野不仅具备NoSQL处理海量数据的能力，也保持了传统数据库支持ACID和SQL的特性NEWSQLHadoop，目前最广泛的大数据解决方案1961年，通用电气公司开发出第一个数据库—IDS一.企业级数据库运维二.大数据以及大数据技术应用目录CONTENTS企业信息化已经成为当下所有行业发展的重要驱动力量电信行业金融行业医疗行业能源行业企业信息化业务支撑域以NGBOSS系统为核心，实现用户全业务受理、计费、结算和客户服务，还包括电子渠道、经营分析等围绕客户营销计费的相关系统组成信息管理域以ERP系统为核心，辅助人力资源管理、采购管理等子系统，还包括4A安全等IT系统，实现企业运营管理电子化的平台网络管理域是以综合网管系统为代表，以IT系统全面支撑网络资源管理、网络运行管理、网络质量管理等各项工作在电信行业中，信息化已覆盖企业运营各个方面随着企业信息化的不断深入发展，数据管理始终是企业信息化的核心。数据管理可以为企业提供可靠、有价值和高质量的数据，提供更好的产品和服务，为企业提供更明智和更有效的决策数据支持。数据管理的价值目前常见的数据库—关系型数据库在关系型数据库中，数据以行和列的形式存储，以便于用户理解，这一系列的行和列被称为表，一组表便组成了数据库。在关系数据库中：各数据项之间用关系来组织,关系(relationship)是表之间的一种连接，通过关系，我们可以更灵活地表示和操纵数据。Oracle在数据库领域的领导地位根据Gartner在2014年3月发布的调查报告，在2013年RDBMS市场份额中，各厂商的比例分布如下，其中Oracle47.4%，Microsoft19%，IBM17.7%，SAP7.0%，Oracle数据库的市场份额在2013年再次占据第一的位置，超过了随后4个厂商的总和。ORACLE的成功因素•Oracle进入国内市场较早，有先入为主的优势•Oracle在技术上不断创新，不断引导数据库（尤其是关系型数据库）的技术进步•Oracle在多版本并发控制(MVCC）,真正应用集群（RAC）等高级特性奠定了Oracle的江湖地位•Oracle早期相对其他厂商更为开放的license，降低人们学习Oracle的门槛。•较完善的文档以及各大小技术论坛，降低了人们的学习难度。•上述原因综合造就目前Oracle独步关系型数据库市场的局面。关系型数据库——MySQLMySQL是一个开源的小型关联式，支持分布式，有多种不存储引擎的开源数据库。MySQL凭借经济高效、可靠、高性能且可扩展的电子商务、联机事务处理和嵌入式数据库应用程序成为全球最流行的开源数据库•大容量OLTP•实时分析•电子商务、金融交易和支付网关•在线游戏•移动和小额支付MySQL应用场景其他常见的关系型数据库EnterpriseDB是PostgreSQL的一个分支，在PostgreSQL基础上，针对企业级应用进行了专门的优化，同时，增加了一系列如动态性能调优、EDBLoader、高效批量SQL处理等高级特性；在众多功能亮点中，EnterpriseDB的兼容性技术尤为惹眼。PostgreSQL是一个自由的对象-关系数据库服务器，它在灵活的BSD-风格许可证下发行。MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。国产数据库也在不断发展达梦数据库管理系统已经发展到7.0版本，简称DM7。DM7采用全新的体系架构，在保证大型通用的基础上，针对高性能、海量数据处理和安全性做了大量的研发和改进工作，并能同时兼顾OLAP和OLTP请求。2014年10月30日，南大通用与IBM宣布将在中国创建自主创新的数据库产品。南大通用将基于IBMInformix技术开发并销售这种本地创新的数据库，针对中国市场的独特需求定制一流的数据库解决方案。数据库在企业信息化中扮演着重要的角色911事件发生后，世贸大厦里的大量数据化为乌有，据统计，金融业在数据系统遭到破坏的2天内所受损失为日营业额的50%，两个星期内无法恢复信息系统，75%的公司将业务停顿，43%的公司将再也无法开业，没有实施灾难备份措施的公司60%将在灾难后2—3年间破产。而摩根士丹利（MorganStanley）在半小时内就在灾备中心建立了第二办公室，第二天就恢复全部业务。忽视数据库的重要性，带来的后果是难以估量的…….2012年，北京联通声称因系统交割升级，在5月28日到6月6日暂停办理固话宽带等多项业务。之后由于系统升级失败实施回退，于6月30日再次暂停业务一周。同时，缺乏对数据库的有效管理手段，也会造成巨大的损失……数据库管理数据库安装、数据库配置和管理、权限设置和安全管理、监控和检查·、备份和恢复、解决故障、数据存储管理、数据库优化、数据库规划和设计……数据库是企业IT信息化建设的灵魂通过逐级推进，通过评估分析、系统设计、测试实施到上线运维，逐步实现完善的应急/容灾体系建设。应急容灾生产中心应急中心容灾中心数据中心应用级容灾（WAS/MQ）ActiveDataGuardGoldenGate“故障能应急、平时能分流”的应急系统是业务连续性保障建设的发展方向数据架构数据架构管理数据架构管理通过建立企业数据架构总体视图，对数据结构、数据模型、数据分布、数据流、业务流等进行规范和管理，并通过统一的数据架构管理团队、体系及平台进行有效的落地及管控，确保对业务高效、稳定、快速的支撑能力。主要内容包括：企业数据架构规划企业数据分布规划业务数据映射梳理和分析数据标准设计和和优化系统数据模型设计系统数据模型变更审查系统数据模型梳理和优化测试监理需求/设计开发测试通过自动化测试、性能测试、UAT测试以及版本上线管理等手段，全面提升应用软件的交付质量。交维日益增长的应用人数和业务量对系统性能提出了更高的要求，通过从WEB层、应用层和基础层等各方面进行端到端应用优化理论，以及对WEB展现、应用逻辑等多层次、多维度的优化分析，实现业务系统10倍以上的性能加速，全面提升系统的整体性能和稳定性。性能优化WEB层应用层基础层新炬无边界服务模式系统1业务流程应用系统中间件数据库虚拟化主机/存储维护团队1系统2维护团队2系统n维护团队3网络集中化运维模式中间件运维团队数据库运维团队虚拟化运维团队主机/存储运维团队网络运维团队业务流程应用系统业务流程应用系统业务流程应用系统系统1系统2系统n服务台团队烟囱式运维模式系统1系统2系统n新炬无边界本地运维/运营团队新炬无边界云端专家团队新炬无边界DevOps团队运维/管理/优化/安全支持平台产品/支撑工具运维经验总结新炬无边界服务模式运维平台化传统烟囱式运维一.企业级数据库运维二.大数据以及大数据技术应用目录CONTENTS美国和其他40多个国家400万个评分300万次搜索请求基于对海量数据积累和分析的结果，利用大数据技术，选择观众喜爱的演员、导演和题材，从而实现火爆的收视率2012年年初的一天，一个父亲闯入他家附近的Target超市向经理兴师问罪，因为超市将婴儿尿片和童车的优惠券寄送给了他17岁的女儿。但一个月后，这位父亲打来电话道歉，因为他的女儿的确怀孕了。这其中的玄妙就在于Target运行的大数据模型，能够通过对客户购买行为的分析将各种类型的顾客细分出来。这是一个变化的年代，当很多人还没有搞懂PC互联网的时候，移动互联网来了，当很多人还没弄懂移动互联网，大数据来了。农耕时代工业时代(17世纪)电气时代(20世纪)互联网时代(2000年)数据量井喷，据统计，全球90%的数据都是在过去两年中生成的。互联网、社交网络、传感器、科研、金融正在产生越来越多的数据。想驾驭这庞大的数据，我们必须了解大数据的特征。全球每秒钟发送2.9百万封电子邮每天会有2.88万个小时的视频上传到Youtube推特上每天发布5千万条消息每天亚马逊上将产生6.3百万笔订单…每个月网民在Facebook上要花费7千亿分钟…Google上每天需要处理24PB的数据…中国移动每天产生1PB+信令数据BigData什么是大数据数据数据库预测数据流运算节点机器学习AMD可视化大数据(bigdata)或称巨量数据、海量数据，指的是所涉及的资料量规模巨大到无法通过人工在合理时间内达到撷取、管理、处理，并整理成为能够人类解读的信息。“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。VolumeVelocityValueVariety大数据的4V特征Volume海量1PB=1024TB=1,048,576GB1EB=1024PB=1,073,741,824GB1ZB=1024EB=1,099,511,627,776GB地球上至今总共的数据量：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！Velocity高速6000万用户登录/天20亿次页面访问/天每天1.2亿次网站访问响应时间小于100毫秒大数据的惊人不止是在数量上，同时数据还是巨量的具有动态分析价值的数据。