Hadoop与大数据：一个数据库学者的解读

Hadoop与大数据：一个数据库学者的解读Hadoopvs.BigData:UnscramblingofaDatabaseResearcher周傲英周傲英提纲Hadoop的起源和历史Hadoop在数据管理中的地位传统数据库发展回顾什么是“大数据”从数据库角度看大数据研究结语Hadoop的起源和历史Hadoop在数据管理中的地位传统数据库发展回顾什么是“大数据”从数据库角度看大数据研究结语提纲Hadoop的起源和历史Hadoop在数据管理中的地位传统数据库发展回顾什么是“大数据”从数据库角度看大数据研究结语Hadoop的起源和历史Hadoop在数据管理中的地位传统数据库发展回顾什么是“大数据”从数据库角度看大数据研究结语Hadoop史前2002:开源搜索引擎Nutch2003:索引1亿个网页2003:GFS(Google文件系统)论文发表SanjayGhemawat,HowardGobioff,Shun-TakLeung:TheGooglefilesystem.SOSP2003:29-432004:MapReduce论文发表JeffreyDean,SanjayGhemawat:MapReduce:SimplifiedDataProcessingonLargeClusters.OSDI2004:137-1502002:开源搜索引擎Nutch2003:索引1亿个网页2003:GFS(Google文件系统)论文发表SanjayGhemawat,HowardGobioff,Shun-TakLeung:TheGooglefilesystem.SOSP2003:29-432004:MapReduce论文发表JeffreyDean,SanjayGhemawat:MapReduce:SimplifiedDataProcessingonLargeClusters.OSDI2004:137-150Hadoop诞生2004–2006:Nutch+DFS+MapReduceDougCuttingandMichaelJ.Cafarella2006.1–2008:Web-scaleHadoop!(@Yahoo!)2004–2006:Nutch+DFS+MapReduceDougCuttingandMichaelJ.Cafarella2006.1–2008:Web-scaleHadoop!(@Yahoo!)Hadoop生态圈（部分）2006:BigTable论文发表FayChang,JeffreyDean,SanjayGhemawat,etal:Bigtable:ADistributedStorageSystemforStructuredData.OSDI2006:205-2182006–2008:HBase开发开始到成为Hadoop子项目2008.9:HIVE成为Hadoop子项目2006:Pig@Yahoo!2006:BigTable论文发表FayChang,JeffreyDean,SanjayGhemawat,etal:Bigtable:ADistributedStorageSystemforStructuredData.OSDI2006:205-2182006–2008:HBase开发开始到成为Hadoop子项目2008.9:HIVE成为Hadoop子项目2006:Pig@Yahoo!Hadoop生态圈（部分）2006:BigTable论文发表FayChang,JeffreyDean,SanjayGhemawat,etal:Bigtable:ADistributedStorageSystemforStructuredData.OSDI2006:205-2182006–2008:HBase开发开始到成为Hadoop子项目2008.9:HIVE成为Hadoop子项目2006:Pig@Yahoo!2006:BigTable论文发表FayChang,JeffreyDean,SanjayGhemawat,etal:Bigtable:ADistributedStorageSystemforStructuredData.OSDI2006:205-2182006–2008:HBase开发开始到成为Hadoop子项目2008.9:HIVE成为Hadoop子项目2006:Pig@Yahoo!提纲Hadoop的起源和历史Hadoop在数据管理中的地位传统数据库发展回顾什么是“大数据”从数据库角度看大数据研究结语Hadoop的起源和历史Hadoop在数据管理中的地位传统数据库发展回顾什么是“大数据”从数据库角度看大数据研究结语Hadoop在数据管理中的地位Hadoop具有新颖的技术思路在处理网页数据等方面取得巨大成功Hadoop经过几年的发展，从一门边缘技术成长为一种事实上的标准。Hadoop具有新颖的技术思路在处理网页数据等方面取得巨大成功Hadoop经过几年的发展，从一门边缘技术成长为一种事实上的标准。“TheGreatMapReduceDebate”“MapReduce:AMajorStepBack”,DatabaseColumnBlog,Jan.17,2008Agiantstepbackwardintheprogrammingparadigmforlarge-scaledataintensiveapplicationsAsub-optimalimplementation,inthatitusesbruteforceinsteadofindexingNotnovelatall--itrepresentsaspecificimplementationofwellknowntechniquesdevelopednearly25yearsagoMissingmostofthefeaturesthatareroutinelyincludedincurrentDBMSIncompatiblewithallofthetoolsDBMSusershavecometodependon“MapReduce:AMajorStepBack”,DatabaseColumnBlog,Jan.17,2008Agiantstepbackwardintheprogrammingparadigmforlarge-scaledataintensiveapplicationsAsub-optimalimplementation,inthatitusesbruteforceinsteadofindexingNotnovelatall--itrepresentsaspecificimplementationofwellknowntechniquesdevelopednearly25yearsagoMissingmostofthefeaturesthatareroutinelyincludedincurrentDBMSIncompatiblewithallofthetoolsDBMSusershavecometodependon“TheGreatMapReduceDebate”“MapReduce:AMajorStepBack”,DatabaseColumnBlog,Jan.17,2008主要针对MapReduce的开源实现——HadoopAgiantstepbackwardintheprogrammingparadigmforlarge-scaledataintensiveapplicationsAsub-optimalimplementation,inthatitusesbruteforceinsteadofindexingNotnovelatall--itrepresentsaspecificimplementationofwellknowntechniquesdevelopednearly25yearsagoMissingmostofthefeaturesthatareroutinelyincludedincurrentDBMSIncompatiblewithallofthetoolsDBMSusershavecometodependon“MapReduce:AMajorStepBack”,DatabaseColumnBlog,Jan.17,2008主要针对MapReduce的开源实现——HadoopAgiantstepbackwardintheprogrammingparadigmforlarge-scaledataintensiveapplicationsAsub-optimalimplementation,inthatitusesbruteforceinsteadofindexingNotnovelatall--itrepresentsaspecificimplementationofwellknowntechniquesdevelopednearly25yearsagoMissingmostofthefeaturesthatareroutinelyincludedincurrentDBMSIncompatiblewithallofthetoolsDBMSusershavecometodependonBelover,nofighter!提纲Hadoop的起源和历史Hadoop在数据管理中的地位传统数据库发展回顾什么是“大数据”从数据库角度看大数据研究结语Hadoop的起源和历史Hadoop在数据管理中的地位传统数据库发展回顾什么是“大数据”从数据库角度看大数据研究结语什么是数据库？Data+BaseOracle/DB2/MySQL1974:SystemR1968:IMS(IBMInformationManagementSystem)层次模型1965:IDS(IntegratedDataStore)网状模型1965:ListProcessingTaskForceunderCODASYL1967:LPTFDBTG(DataBaseTaskGroup)1959:CODASYL(ConferenceonDataSystemsLanguages)Data+BaseOracle/DB2/MySQL1974:SystemR1968:IMS(IBMInformationManagementSystem)层次模型1965:IDS(IntegratedDataStore)网状模型1965:ListProcessingTaskForceunderCODASYL1967:LPTFDBTG(DataBaseTaskGroup)1959:CODASYL(ConferenceonDataSystemsLanguages)数据库的基本目的计算机从数值计算转到数据处理，OS中的文件系统发展成DBMSCOBOL，CODASYLDBTG报告(图灵奖获得者CharlesBachman)数据库系统最原始的目标是解决记账(Billing)和订票(Booking)问题商务智能的雏形事务处理(图灵奖获得者JimGray)数据库发展伊始，其目标应用简单明确计算机从数值计算转到数据处理，OS中的文件系统发展成DBMSCOBOL，CODASYLDBTG报告(图灵奖获得者CharlesBachman)数据库系统最原始的目标是解决记账(Billing)和订票(Booking)问题商务智能的雏形事务处理(图灵奖获得者JimGray)数据库发展伊始，其目标应用简单明确数据库的三大成就关系模型E.F.Codd(数据库领域第二个图灵奖获得者)事务处理JimGray(数据库领域第三个图灵奖获得者)查询优化结构化(模式和实例分离)关系数