TERADATA介绍

DW系统数据仓库基础平台介绍Page2议程安排Teradata数据仓库概念架构Teradata数据仓库平台Teradata软件体系Teradata技术特点Teradata管理工具Page3议程安排Teradata数据仓库概念架构Teradata数据仓库平台Teradata软件体系Teradata技术特点Teradata管理工具Page4Teradata数据仓库概念架构—概述企业数据仓库从属数据集市业务人员IT用户数据导入析取清洗条件剔除家庭关系加载知识发现数据挖掘信息存取工具源数据数据采集数据存储/管理信息访问ITUsersBusinessUsers业务系统业务系统业务数据外部数据关系数据库管理系统聚集统计人工智能神经网络多维可视化EIS/DSS电子表对象语言开发网络管理数据库管理系统管理元数据逻辑数据模型物理数据库设计数据字典业务和技术咨询与培训服务Page5Teradata数据仓库概念架构—ETL工具析取清洗条件剔除家庭关系加载业务系统业务系统业务数据外部数据关系数据库管理系统聚集统计人工智能神经网络多维可视化EIS/DSS电子表对象语言开发Fastload,MultiLoad,TPump,FastExportRDBMSTeradata,NCRPlatform,WES/EMCStorage,TapeLibraryCognos,Hyperion(Essbase),MicrosoftAnalysisService,MicroStrategy,CABTEQ,Queryman,TeradataPortal,BusinessObject,Brio,Cognos,MicroStrategy,ExcelFlatFile,AccessModule(OLEDB,ODBC,JDBC,.NETProvider)TeradataDWAutomation,INFORMATICA,Hummingbird,FirstLogic,EvokeSoftware,VitriaTeradataManager,TeradataWM,TeradataAnalyst,TeradataMetadataService,TeradataBAR，etcTeradataWarehouseMiner,SASEnterpriseMiner,SPSSClementineTCRM,TVAPage6Teradata数据仓库概念架构—数据仓库平台析取清洗条件剔除家庭关系加载业务系统业务系统业务数据外部数据关系数据库管理系统聚集统计人工智能神经网络多维可视化EIS/DSS电子表对象语言开发Fastload,MultiLoad,TPump,FastExportRDBMSTeradata,NCRPlatform,WES/EMCStorage,TapeLibraryCognos,Hyperion(Essbase),MicrosoftAnalysisService,MicroStrategy,CABTEQ,Queryman,TeradataPortal,BusinessObject,Brio,Cognos,MicroStrategy,ExcelFlatFile,AccessModule(OLEDB,ODBC,JDBC,.NETProvider)TeradataDWAutomation,INFORMATICA,Hummingbird,FirstLogic,EvokeSoftware,VitriaTeradataManager,TeradataWM,TeradataAnalyst,TeradataMetadataService,TeradataBAR，etcTeradataWarehouseMiner,SASEnterpriseMiner,SPSSClementineTCRM,TVAPage7Teradata数据仓库概念架构—应用与前台工具析取清洗条件剔除家庭关系加载业务系统业务系统业务数据外部数据关系数据库管理系统聚集统计人工智能神经网络多维可视化EIS/DSS电子表对象语言开发Fastload,MultiLoad,TPump,FastExportRDBMSTeradata,NCRPlatform,WES/EMCStorage,TapeLibraryCognos,Hyperion(Essbase),MicrosoftAnalysisService,MicroStrategy,CABTEQ,Queryman,TeradataPortal,BusinessObject,HPS,Cognos,MicroStrategy,ExcelFlatFile,OLEDB,ODBC,JDBCTeradataDWAutomation,INFORMATICA,Hummingbird,FirstLogic,EvokeSoftware,VitriaTeradataManager,TeradataWM,TeradataAnalyst,TeradataMetadataService,TeradataBAR，etcTeradataWarehouseMiner,SASEnterpriseMiner,SPSSClementineTCRM,TVAPage8议程安排Teradata数据仓库概念架构Teradata数据仓库平台Teradata硬件平台Teradata软件体系Teradata技术特点Page9海量并行处理系统结构海量并行处理系统(MassivelyParallelProcessing)•非共享体系结构“sharednothing”最大利用SMP节点的资源灵活配置，任意规模线性扩展CPUCPUCPUCPUMemoryCPUCPUCPUCPUMemoryCPUCPUCPUCPUMemoryCPUCPUCPUCPUMemoryBYNETVPROCsAmpsVPROCsAmpsVPROCsAmpsVPROCsAmpsVPROCsAmpsVPROCsAmpsVPROCsAmpsVPROCsAmpsVPROCsAmpsVPROCsAmpsVPROCsAmpsVPROCsAmpsVPROCsAmpsVPROCsAmpsVPROCsAmpsVPROCsAmpsPage10Node软件组件BYNETDriverPage11BYNETSQLRequestAnswerSetResponseBYNETTheBYNETconnectsallvprocs(AMPsandPEs)andhandlescommunicationbetweenthem.Page12SpecificallydesignedfordatawarehousingworkloadsTheScalableBYNET互连技术MultipleSimultaneousPoint-to-PointMessagingBroadcastMessagingNodeNodeNodeNodeNodeNodeNodeNodeNodeTheTeradataOptimizerchoosesbetweenPoint-to-PointandBroadcastMessagingtoselectthemosteffectivecommunication.•Bandwidthscaleslinearlyto1,024nodes•Upto752MB/spernode•Redundant,faulttolerantnetwork•GuaranteedmessagedeliveryNodePage13TeradataandMPPSystemsPage14PE–ParsingEngineSQLRequestAnswerSetResponsePEsparseSQLrequestsandverifysyntax,consulttheDataDictionary,createaplan,dispatchtheplantotheAMPsandreturntheresultsettotheuser.EachPEcanmanageupto120sessions.SessionControlParserDispatcherOptimizerParsingEnginePage15AMP–AccessModuleProcessorAMPsacceptstepsfromtheDispatcherandstoreandretrieverowstoandfromtheirdisks.AMPsperformjoins,aggregation,sorts,andlockingonthedata,aswellascollectingaccountingstatistics.SQLRequestAnswerSetResponseBYNETPage16BuildingIndexesBackup&RecoveryRowLockingTransactionJournalizingSortingReadingWritingLoadingAggregatingAMP4的数据AMP3的数据AMP2的数据Teradata并行的基础每个并行单元只管理自己的数据AMPAMPAMPAMP1的数据AMP110,000,000条记录250,000条记录x40x40250,000条记录250,000条记录250,000条记录Page17议程安排Teradata数据仓库概念架构Teradata数据仓库平台Teradata软件体系Teradata技术特点Teradata管理工具Page18Teradata技术特点Teradata数据库的关键技术数据分布数据管理查询管理优化器智能无条件并行处理能力系统可扩展性系统升级高可用性“Teradata开销低，使用灵活，以非常有效的方式获得数据。”—JerryHill,WesternDigitalPage19技术特点-数据分布为了最好的性能，数据应该随机地均匀地分布，使数据访问时间最短。但是这很难做到!为了达到这点，许多厂商使用范围分布，这给数据库管理员带来了大量的维护任务。Page20技术特点-数据分布Teradata使用哈希算法进行分区和数据分布，保证数据可以均匀地分布到所有的节点，以达到负载地均衡。一种更好的数据分布解决方案Page21Teradata存储体系架构Page22RowsaredistributedevenlybyhashpartitioningDoneinreal-timeasdataareloaded,appended,orchanged.Noreorgs,repartitioning,spacemanagementSharednothingsoftware:EachVAMPownsanequalsliceofthedata.EachVAMPworksexclusively&independentlyonitsrowsNothingcentralized:Nosinglepointofcontrolforanyoperation(I/O,Buffers,Locking,Logging,Dictionary)TeradataDataDistributionDividingtheWorkVAMP1VAMP2VAMP3VAMP4………………………………………………………VAMPnTableATableBTableCPrimeIndexTeradataParallelHashFunctionPDMPDMPDMPDMPDMPDMPDMPDMPDMRowHash(HashBucket)DataFieldsPage23技术特点-数据管理增加、修改、删除数据会影响手工的数据分布方案，从而降低查询效率，需要数据重组。“又到重组时间了”DBAPage24技术特点-数据管理Teradata按哈希算法自动进行数据分布，避免了数据维护的工作量，有效的解放了DBA资源。因此，对用户而言，具有战略意义的业务数据更加容易访问。“我马上就可以帮助你设计那个新的应用”DBA