Teradata数据数据数据数据仓仓仓仓库库库库一体机一体机一体机一体机暨技术特点暨技术特点暨技术特点暨技术特点概述概述概述概述本文档及其所含信息为机密材料并且Teradata所拥有。本文档中的任何部分未经Teradata书面授权,不得将材料泄露给第三方,也不得以任何手段、任何形式进行复制与传播Copyright©2012Teradata版权保留所有的权利Teradata数据仓库一体机服务器平台暨技术特点1.1一体机解决方案与传统解决方案对比一体机解决方案与传统解决方案对比一体机解决方案与传统解决方案对比一体机解决方案与传统解决方案对比1.1.1TeradataTeradataTeradataTeradata与传统解决方案对比与传统解决方案对比与传统解决方案对比与传统解决方案对比1.1.1.1.数据仓库平台的发展趋势数据仓库平台的发展趋势数据仓库平台的发展趋势数据仓库平台的发展趋势随着信息爆炸式增长、复杂结构数据的涌现以及云计算和虚拟化等关键技术的广泛应用,业界领先的数据库平台厂商纷纷推出数据仓库一体机产品以面对日益增长的海量信息分析的挑战。基于大规模并行处理架构(MPP)的数据仓库一体机适合为企业搭建一体化的集成数据分析环境(IDE),能够有效地支撑海量数据分析和挖掘应用,从而为企业及时获取有价值的信息。全球最具权威的IT研究与顾问咨询公司Gartner在2010年3月的研究分析报告中指出:“数据仓库专用平台是企业数据仓库的未来。在2015年前,全球50%的企业会选择数据仓库专用平台做为自己的数据仓库解决方案”。图1Gartner对数据仓库平台发展趋势报告Teradata数据仓库一体机服务器平台暨技术特点2.2.2.2.数据仓库一体机与传统解决方案的对比数据仓库一体机与传统解决方案的对比数据仓库一体机与传统解决方案的对比数据仓库一体机与传统解决方案的对比数据仓库一体机与传统的基于小型机的解决方案相比,在如下表所示的数据仓库几方面关键领域存在明显差异。关键领域关键领域关键领域关键领域一体机方案一体机方案一体机方案一体机方案传统小型机方案传统小型机方案传统小型机方案传统小型机方案性能高:针对数据仓库应用优化定制中:典型配置很难满足数据仓库复杂应用环境整体拥有成本低:一体机的优势体现在采购、运维、以及投资回报上较高:配置、运维复杂,投资回报相对较差易用易管理性好:预先集成、统一管理,简单易用一般:配置复杂,管理依赖集成工具,对管理能力要求高扩展能力高:提供搭积木式扩展中:内部扩展受限于单机(SMP)槽位,外部扩展受限于网络连接3.3.3.3.TeradataTeradataTeradataTeradata数据仓库一体机的特点和优势数据仓库一体机的特点和优势数据仓库一体机的特点和优势数据仓库一体机的特点和优势Teradata作为专注于数据仓库领域的厂商,在数据仓库一体机领域已经有30年以上的经验。Teradata数据仓库一体机在性能、整体拥有成本、易用易管理性与扩展能力上表现更是优异,具体情况如下表所示:Teradata数据仓库一体机服务器平台暨技术特点数据仓库特性要求数据仓库特性要求数据仓库特性要求数据仓库特性要求TeradataTeradataTeradataTeradata专业一体化平台的特点及优势专业一体化平台的特点及优势专业一体化平台的特点及优势专业一体化平台的特点及优势性能数据规模与应用场景复杂大数据量复杂运算的效率快,适合分析系统的数据规模和应用场景并行处理Teradata是为数据仓库处理设计的专业数据库,无条件的并行处理混合负载管理提供成熟的混合负载管理和优先级调度能力,能够很好的支持各种复杂应用对资源的使用均衡配置充分考虑计算能力、存储能力和I/O吞吐量的平衡,提供整体的最优计算能力整体拥有成本投资保护多代产品共存,保护前期投资装机即可用一体机,装机即可使用压缩比高可以按列存储,提供卓越的压缩技术,更高的压缩比率无空间损耗无需额外系统空间损耗,用户可用空间更高产品满足不同需求多种平台产品家族,满足不同客户需求,保证投资回报运维管理方便运维简单、管理自动化程度高,人工参与度低易用性系统易于管理数据库完全自管理,空间、数据分布和管理无需人工干预系统管理成统一的系统管理,系统自动化程度高,更少的DBATeradata数据仓库一体机服务器平台暨技术特点本低可扩展性线性扩展节点和存储与性能线性扩展可扩展能力最大可支持到4096个节点,186PB数据处理规模未来技术发展开放的云平台提供云计算解决方案:分析云方案已应用于AppleiCloud,AmazonEC2虚拟存储领先的虚拟存储技术,实现自动的多温度数据管理引领技术发展融合了对未来大数据(非结构化数据)分析的解决方案,将继续专注于数据仓库与分析领域,持续提供领先的数据仓库产品与技术4.4.4.4.TeradataTeradataTeradataTeradata数据仓库一体机数据仓库一体机数据仓库一体机数据仓库一体机系列及系列及系列及系列及配置配置配置配置Teradata超过三十年在数据仓库和企业数据分析的专注研究及技术创新,积累了丰富的数据仓库系统建设经验,同时,形成了丰富的数据仓库一体机产品家族,分别能够适应各行业客户不同业务应用场景。Teradata数据仓库一体机产品家族如下表所示:数据集市数据集市数据集市数据集市专用平台专用平台专用平台专用平台巨量数据巨量数据巨量数据巨量数据专用平台专用平台专用平台专用平台数据仓库数据仓库数据仓库数据仓库专用平台专用平台专用平台专用平台超强性能超强性能超强性能超强性能专用平台专用平台专用平台专用平台动态企业级动态企业级动态企业级动态企业级数据仓库数据仓库数据仓库数据仓库适适适适用用用用范范范范围围围围测试/开发或小型数据集市巨量数据存储及巨量数据分析数据仓库或部门级数据集市操作分析型系统高性能应用企业级决策及操作智能数据仓库容容容容量量量量高达11TB高达186PB高达343TB高达24TB高达92PBTeradata数据仓库一体机服务器平台暨技术特点Teradata建议在具体设计与配置一个数据仓库系统时,一个重要的考核指标是系统节点与存储设备之间的I/O带宽配合,要力求做到“均衡”以使系统性能最佳化。如下图所示:如果存储设备和磁盘提供足够的I/O带宽,可以充分利用系统节点的处理能力。如果一个系统节点的CPU使用率能够达到峰值的90%,该系统配置就是“均衡”的;如果一个系统节点的CPU使用率在峰值的75%以下,该系统配置就是“IO受限的”的,反之则声”CPU”受限的。在设计一个数据仓库系统时,总是配置“均衡”方案,以取得最佳的整体性能。图2CUP与I/O的均衡配置范范范范围围围围主主主主要要要要特特特特点点点点部门级分析,入门级企业数据仓库存档分析,深度历史数据分析战略智能决策支持快速扫描操作性智能,低容量,高性能动态负载,实时更新,战术战略时间响应Teradata数据仓库一体机服务器平台暨技术特点因此,Teradata数据仓库一体机产品的选型和配置要从客户的实际业务需求出发,分别从数据容量、系统性能、源数据获取、历史数据存储、系统业务支撑、动态负载管理、系统可用性、系统灾备要求、系统开发与测试要求等方面进行评估,并对每方面的评估结果进行综合分析与评估,从而得出所需要的系统能力指标,从而决定数据仓库一体机产品的选型与详细的产品配置规划。5.5.5.5.小结小结小结小结作为Gartner评估的数据仓库平台十四连冠,Teradata一体机解决方案面向海量数据分析应用,针对计算能力、存储能力和I/O吞吐能力进行了深度的优化,使软硬件平台达到完美融合。与传统解决方案相比,无论在性能、高可用性、整体拥有成本(TCO)、易用易管理性、扩展性、海量数据分析案例及最佳实践方面,都处于领先地位,符合技术发展趋势。Teradata数据仓库一体机服务器平台暨技术特点2222....数据仓库数据仓库数据仓库数据仓库一体机一体机一体机一体机平台技术分析平台技术分析平台技术分析平台技术分析2.1产品关注点产品关注点产品关注点产品关注点一体机相关产品的主要关注点如下表所示:整体性能系统对于海量数据的处理性能、并行处理能力与整体性能表现扩展能力扩展后相同查询量、数据量与系统性能应成正比并能线性扩展高可用性单点故障不影响系统持续对外服务能力,并支持双系统高可用性解决方案并发处理能力支持高并发访问同时运行,包括加载、库内转换、查询分析等系统稳定性处理大数据量、复杂查询、多类型多并发作业任务时,系统稳定可靠库内分析支持端到端的库内数据挖掘分析,避免数据搬迁开销;支持所有主流数据挖掘厂家工具及算法与第三方工具融合性支持所有主流的第三方ETL工具、报表及OLAP工具、数据挖掘工具、应用访问等工具等易用性/易管理性提供统一易用的界面综合管理系统硬件、软件、数据库、负载等管理;DBA不介入数据分布混合/动态负载管理动态调整系统资源,同时支持各类负载需求。支持同时进行复杂的战略深度分析、大量的数据加载及更新多应用支持能力单一平台支持多类对系统资源使用各异的应用,具备平衡优化应用的能力数据实时度支持与业务系统同步的数据加载、更新速度,支持时延要求苛刻的业务活动及分析产品技术架构数据仓库一体机应具备并行处理、消除单一节点等性能瓶颈的架构优势Teradata数据仓库一体机服务器平台暨技术特点专业服务售后服务能力、专业服务队伍构成及咨询服务能力、实施经验和实施方法论的完备性案例经验国内国际大数据量数据仓库案例、解决方案完整性、先进性整体拥有成本投资保护,系统运维简便,工作量少,回报率高第三方评测在Gartner、Forrester等第三方权威评测机构的数据仓库综合评测中排名2.2TeraTeraTeraTeradatadatadatadata2.2.1简介简介简介简介Teradata作为全球领先且专注于数据仓库技术与服务的提供商,从领先的技术、专业的服务,到众多的成功案例、丰富的实施经验,造就了Teradata数据仓库专用平台与众不同的成熟优势。一一一一、、、、全球领先的数据仓库和企业智能技术全球领先的数据仓库和企业智能技术全球领先的数据仓库和企业智能技术全球领先的数据仓库和企业智能技术1、Teradata数据仓库采用非共享MPP核心架构,以无可匹敌的高性能在主流数据仓库产品中独领风骚;2、“多温度数据存储调度”、“企业级固态硬盘”等领先技术的应用,使Teradata数据仓库平台始终在竞争中技高一筹;3、“线性可扩展”、“稳定的数据架构”、“成熟的行业逻辑数据模型”等特点,保障了Teradata企业数据仓库及应用的可持续发展;4、“7X24高可用”、“混合负载管理与优先调度”,为Teradata数据仓库应用提供了高可靠的保证;二二二二、、、、专注于数据仓库建设三十年以上专注于数据仓库建设三十年以上专注于数据仓库建设三十年以上专注于数据仓库建设三十年以上1、Teradata被国际权威机构Gartner、Celent、VentanaResearch和AMRResearch评为业界一流的专业服务提供商;2、30多年来形成了一支遍布全球范围的、经验丰富的咨询服务专业团队,在中国就有800多人。三三三三、、、、全球全球全球全球500500500500强超过强超过强超过强超过80%80%80%80%都是都是都是都是TeradataTeradataTeradataTeradata成功解决方案的受益者成功解决方案的受益者成功解决方案的受益者成功解决方案的受益者Teradata数据仓库一体机服务器平台暨技术特点1、Teradata成熟的数据仓库解决方案,遍及能源、电力、金融服务、零售、保险、通信、媒体和娱乐、政府与公共服务、医疗与制药、制造、博彩、旅游与运输、公用事业等所有行业;2、目前,全球3000强中的1000多家和全球500强企业中的超过80%都是Teradata成功解决方案的受益者;2.2.2技术架构技术架构技术架构技术架构Teradata的技术架构如下图:图2Teradata技术