搜索
鸿策创成公司1新一代分析型云数据库及数据库云计算平台鸿策创成公司目录•鸿策创成公司介绍•案例分享•GreenplumDatabase•GreenplumChorus•总结鸿策创成公司关于鸿策创成公司•鸿策创成公司一直专注于电信行业，致力于用新的数据库技术来提升运营商对于数据的管理能力和支撑能力。继成功把商用内存数据库引入计费域后，又携手并行数据库领先厂家greenplum，结合鸿策创成在电信行业的多年经验和电信解决方案的优势，将最新的并行数据库技术和云数据库技术引入到运营商业务支撑系统中，提高运营商的支撑能力。•Greenplum总部位于圣马蒂奥，加利福尼亚州，美国，成立于2003年6月。2010-7-15官方网站：是数据分析应用的领航者“WelookatGreenplumastheleaderofsoftware-basedsolutions.”-SteveHirsch,ChiefDataOfficer,NYSEEuronext•由世界级的技术和市场专家组成的团队•高端,大规模数据仓库、数据分析的领导者•提供超高性价比的数据分析平台•新一代数据仓库架构“EnterpriseDataCloud数据云”平台的先驱•Architect,TeradataOptimizer•Architect,TandemOptimizer•Architect,MSSQLServerOptimizer•Architect,OracleBit-MapIndex•Architect,OracleOLAP•Architect,InformixBit-MapIndex•Architect,TandemTransactionManager•Architect,MSSQLServerTransactionManager•Architect,MSSQLServerNLP鸿策创成公司IT技术及市场发展趋势鸿策创成公司Greenplum分析型数据库软件为新一代数据分析所需的规模数据和复杂查询功能所设计6超级云数据库的到来鸿策创成公司Greenplum的竞争优势•易用性–并行处理由系统自动完成–无需人工干预–没有复杂的调优需求–只需加载数据库和查询•扩展性–可线性扩展到10，000个节点–每增加一个节点，查询、加载性能都成线性增长•灵活性–完全并行处理支持SQL92,SQL99,SQL2003OLAP,列数据库，透明压缩，MapReduce–支持任何schema(star,snowflake,3NF,hybrid,etc)–丰富的扩展性和语言支持(Java,Perl,Python,R,C,etc)鸿策创成公司奖项及分析家赞誉MagicQuadrant2007(visionariesquadrant)BestclusteringSolutionGlobal250业界奖项“Greenplumgivesenterprisesthebestofbothworlds:MapReduceforprogrammersandSQLforDBAs.”CurtMonash,MonashResearch分析家赞誉“GreenplumleveragesMapReducetechnologytoradicallyjuicedatascale,performanceandanalytics.”DanaGardner,ZDNet“PotentialtoactasadisruptiveforcewithintheDWDBMSmarket”DonaldFeinberg,GartnerFast50FY08AsiaSouthAchievementAward鸿策创成公司强大并成长中的合作伙伴网络HardwareVendorsBIToolsConsultantsAndResellersSolutions鸿策创成公司目录•Greenplum介绍•案例分享•GreenplumDatabase•GreenplumChorus•总结鸿策创成公司全球各地的代表性客户11鸿策创成公司中国的客户12金融交通电信及互联网其它鸿策创成公司案例一：中国电子商务领导者——阿里巴巴•业务使用•通过分析用户的网络点击日志，进行产品关联分析，让客户可以快速的找到相近产品•原有解决方案及问题•Oracle•加载速度非常慢，真的令人无法接受——技术人员天天抱怨•做客户详细复杂的点击查询，要等上半天到一天，有时还出不来结果，浪费我们大量的时间——业务经理已经忍无可忍了•现在系统无法满足海量的历史数据的分析应用•Greenplum是幕后的英雄•海量加载由Greenplum完成•汇集了Alibaba所有的历史数据真是一个超级的海量数据库软件！——客户技术部门评价网站日志网站日志交易数据交易数据详细数据详细数据GreenplumGreenplum•海量基础数据•大数据量查询OracleOracle加工数据加工数据•门户网站•高并发查询。。。。。。。。。。。。用户信息用户信息鸿策创成公司日志挖掘服务器H+1，20台信用/CTUDatamart/计算平台支付宝BI2010系统架构图数据仓库主库定时任务计算60台数据分发数据源OLTP系统财务系统销售系统客服系统会员营销Datamart/计算平台抽取数据收集分发中心数据仓库工具与管理平台/调度系统)管理元数据(MetaData)管理CDC资金/财务等Datamart/模型计算平台CDCCDCCDC账户系统…数据仓库备库查询60台数据历史库/挖掘40台CDCCDC数据分发数据分发综合数据查询报表及仪表盘在线多维分析风控系统会员营销客户服务资金管理财务分析客户信用挖掘工具集商业智能信息门户KPI报表与业务报告业务指标仪表盘监控运营与营销数据分析综合数据查询挖掘分析报告用户访问行为跟踪竞争情报日志收集服务器20台日志/行为模型计算准实时，4台服务打点服务线上即时作弊判断线上即时个性化营销企业数据中心网站访问交易系统图例已经上线greenplum集群，总共120台即将上线查询集群总共60台鸿策创成公司案例二：RelianceCommunications（印度电信）•业务问题•CDR安全合规性和分析•已有方案•Oracle•数据规模•180TB，每天增长650GB•优势•将响应时间缩短90%“借助运行Greenplum数据库的Sun数据仓库设备，Reliance可以在快速发展，用户需求不断增加的数据环境中达到预期的高度响应能力。”-Reliance的副总裁和主管（决策支持系统）RajJoshi15响应时间(分)以前的数据库鸿策创成公司案例三：全球最大的电子商务商eBay也采用GP•BusinessProblem•AnalysisofdetaileventleveldatacapturedthroughouttheeBayinfrastructure‐usecasesincludefrauddetection,performanceanalysis,clickanalysis,etc.•ExistingSolution•Teradata•特征•世界上最大的数据仓库•6.5PB数据量,每天增长18TB•2MasterHostusingSunx4540•96SegmentHostusing72Sunx4540and24Sunx4500•16ETLserverusingSunx4540•Using1TBofharddisk•SolarisOSwithZFSandRAIDZ•Greenplumreal-timecompressionenabled(1:4)•SegmentMirroringenabled网站日志网站日志交易数据交易数据详细数据详细数据GreenplumGreenplum•海量基础数据•大数据量查询TeradataTeradata加工数据加工数据•企业指标数据•高并发查询。。。。。。。。。。。。用户信息用户信息鸿策创成公司eBaySingularityDataCenter鸿策创成公司案例四:NYSE（纽约证券交易所）“Greenplumisreachingdataloadingspeedsofoverthreeterabytesperhour,andweknowthatthedatabasecanscaleevenfurtherthanthat.Greenplum’sfastperformanceiscriticalforus.”----StevenHirsch,ChiefDataOfficer,NYSEEuronext00.511.52TB/dayJan'08Jan'09•业务需求证券交易的合法性及安全性监控•被替代厂商Oracle,Netezza•DataSize日增量数据从1TB增长到2TB/day•Benefit高速的查询性能，满足海量数据的高度复杂分析鸿策创成公司测试项OracleRACGreenplum65个小时48分钟OracleRACGreenplum200分钟1.5分钟80倍120倍完整应用PK单项查询PK测试结果提升倍数案例五：征途游戏,相同的硬件环境下PK鸿策创成公司“大”数字—当前GP客户生产系统的工作状态•20万亿(Trillion)行--facttable•70K/day-QueryRate•6.5PB–数据尺寸•+100GB/s–AnalysisRate•+3GB/s–装载速度•100,000/s–TransactionRate•56TB/kW,1.6GB/s/kW–PowerRate•1000s–节点规模7/15/201020鸿策创成公司Greenplum的应用场景举例•客户管理，数据仓库，BI，ODS，数据集市，数据挖掘，经营分析，网络分析，知识库管理，成本效益分析等项目•可以高效、低成本的存储、访问当前及历史数据–利用Greenplum最低的TB数据成本（高性价比）–利用Greenplum高效的数据加载能力，迅速将长期积累的数据入库–利用Greenplum的并行数据流技术，将企业遗留的文件数据加工入库–利用Greenplum的并行数据流技术，进行统计、访问和加工分析•需要结合数据库并行处理外部数据–数据非常难以加工处理成数据库表数据来存放（非结构化数据）–需要专用的处理程序处理（MapReduce）–处理结果适合数据库保存，或者需要结合数据库数据进行分析鸿策创成公司目录•Greenplum介绍•案例分享•GreenplumDatabase•GreenplumChorus•总结鸿策创成公司Greenplum基本架构MPP(MassivelyParallelProcessing)Shared-NothingArchitectureNetworkInterconnect............MasterSeversQueryplanning&dispatchSegmentSeversQueryprocessing&datastorageSQLMapReduceSQLMapReduceExternalSourcesLoading,streaming,etc.鸿策创成公司24GoogleFS架构与GreenplumDB对比GreenplumGreenplumMasterHostMasterHostInterconnect—交换机SegmentHostSegmentHostSegmentHostSegmentHostSegmentHostSegmentHostSegmentHostSegmentHostMasterHostMasterHostClientLANLAN鸿策创成公司Greenplum–云计算模式的新方案•普通服务器平台（服务器、网络）•通过软件提升处理能力Greenplum•“黑盒子”•“大铁箱”•大磁盘过去Google曾经用来实现信息搜索功能的技术，现在被Greenplum用于数据管理领域现在的解决方案25鸿策创成公司Share-Nothing无共享的完全并行架构共享磁盘例如：Ora