基于Hadoop+MPP架构的电信运营商网络数据共享平台研究-辛晃

20144Hadoop+MPP1，2，1（1.550018；2.401147）：，Hadoop+MPP。，、、，、，。：；；Hadoop；MPP；doi:10.3969/j.issn.1000-0801.2014.04.020DesignofTelecomOperators’NetworkDataSharingPlatformBasedonHadoop+MPPArchitectureXinHuang1,YiXinghui2,ChenZhenyu1(1.ChinaMobileGroupGuizhouCo.,Ltd.,Guizhou550018,China;2.ChongqingBranchofChinaMobileGroupDesignInstituteCo.,Ltd.,Chongqing401147,China)Abstract:Basedonusingdistributedcomputinganddistributedstoragetechnology,thetelecomoperators’networkdatasharingplatformbasedonHadoop+MPParchitectureswasstudied.Byintegratingvariousdistributednetworkmanagementdata,thenetworkbasicdataplatform,applicationplatformandunifiedcontrolplatformwerebuilt.Keywords:distributed,bigdata,Hadoop,massivelyparallelprocessing,datasharing1，、，，，。、，。。，。（1），，、20，，、。（2）、、、、，。（3），、、9135；10；17。，。、。，，、，。，。，。（1），“”：·3200；·1.44，3.14；·420TB；·1.4，900；·GN3.5TBCDR，70；·GB5.3TBCDR，100；·MC300GBCDR，5；·CMNET350TB，DNS3.5；·3.4；·3.6。，，。（2），，，、、、XDR、ERP，，、、、、。。（3）（SMP），，I/O，，，，、，、、。，，，“”。，，、，、、，。，Hadoop+MPP，、。2、、，，12，8PB，160TB，85％。，。，。2.1HadoopHadoop（x86）、（）、（，PC；2~3），。Hadoop，，，。201270CS（CS），10TB，60，、、。90x86，Hadoop，，DPI、、，1125TB，/80，10。Hadoop，，。·：、MPP（massivelyparallelprocessing）、，Hadoop。·：SQL，Hadoop。HiveHadoopSQL，，，Hive。。13620144·：，，HadoopPC，PC，，，，，（），；，Hadoop，，。“”，。2.2IT，，。、，+；Oracle，。（）、、、++。，，。·：10TB，+。·：，1.5/TB，1PB1500，1GB1500（，）。·I/O：，I/O。33.1HadoopHadoop，Apache[1]。，。Hadoop1[2]。3[3,4]。（1）（HDFS）：HDFS，、、。，，、、、。（2）HBase：HBase（notonlySQL，NoSQL），，PC。（3）MapReduce：map（）/reduce（）。map/reduce，，。1Hadoop137MapReduce，，，。Hadoop[5]。·：，。·：，Hadoop，Hadoop1/10~1/2。·：Hadoop，，。，，。·：Hadoop（），。，Hadoop，，，。3.2MPPHadoop、、，，、、，。，MPP。MPPSMP，，，[6,7]。SMP（SMP），（、），（sharenothing），，。MPP，，。，MPP[6,7]。（1），MPP。，，。MPP，CPU，、、，。。（2）TB，，MPPPB。（3）I/O，I/O，I/O。，I/O，MPP，CPU、I/O、、，。（4）MPP，，（、），，，，512、CPU。，。（5）[8]，，；，，。3.3HadoopMPP，，2。，，[9]，，Hadoop、MPP、。1382014412XDR/DPI3MR45678910111224Hadoop+MPP4.1，（CDR、MR、、DPI、）（KPI），、、、、、、。1。4.24.2.1，，，3。4.2.2、，，、、，，、。4。（1）、。，，，；，13（a）Hadoop（b）MPP1394，。，、，。、。（2），、、、、、、GIS，，，；、、、、。（3）、。，，，。4.2.3，、。、，（MapReduce）、、MPP、；J2EE/，，、。、、BI。Hadoop+MPP，STORM，、。、、，。J2EESOA，、，，BI，5。4.2.4，Hadoop+MPP，Hadoop，MPP。MPP。6。140201445614130HadoopHadoop3，3Hadoop1∶320%30=D×/××2Hadoop（1），、、、、、、、、、EOMS、、、、。（2）、、、。①、、、、。、、，。，，，。（、），ETL，；（、、、），。②ETL。，ETL，（、、）；，，ETL。③ODS，、、，。（MPP、Hadoop），（），，，，。、（XDR、MR、DQ/CQT），Hadoop；，MPP（Vertica），、；ETL，MPP。④、。：、，，；，、、，EDS。（3）。、，。，，，。，，，，、、，，，。·（EDS）：，，3。EDS，，，MPP。EDS。·（DM）：。·：，。4.34.3.1（1）=D×。（2）HadoopMPP23。（3）4。142201445/11∶18000.750.04%108030MPPMPP2，2MPP1∶520%30=D×/××4/11∶100.757.50%3001∶750.751.00%3003MPP，=1.5×0.5，=×，：=(×7.5%×300+×1%×300)×/。（4）5。，=1.5×0.5，=×，：=(×0.04%×1080)×/。4.3.2x86，x86PC，MPP，7。，，x86：Hadoop，MPP。Hadoop，、、、、；MPP，、、、、。。71434.44.4.1（1）、XDR。HiveHDFS，HDFS，I/O，。Hadoop。（2）（，），HBase，，。（3）MPP。HadoopHive，；MapReduce，，，MapReduce，。（4）MPPHadoop，MPP，Hadoop。（5）、。（6）HadoopMPP，，。（7）HadoopMPP，，、，。（8）HadoopMPP，，。（9）MPP。（），HBase。4.4.2，84x86，OB，，、、、、20、51、488，5000，70、，45TB。、，，。·：、、。·：，；，；，。·：，，，。·：，，。，，TD-SCDMAWLANAP，，。8~10。8，410TD-SCDMA，96TD-SCDMA；9，21TD-SCDMA，4；10，109TD-SCDMA，，AP886，TD-SCDMAWLANAP。，8TD-SCDMA14420144，，，、。，，，，，。5，Hadoop+MPP。，，、BI、，；，，。，，。Hadoop，Hadoop，Hadoop。，Hadoop，MPPHadoop，，HadoopMPP。1,.Hadoop.,2010,26(12)2,,.Hadoop.,2010,26(11)3,,.Hadoop.,2011,27(1)4,,.Hadoop.,2013(12)5,.Hadoop.,2013(12)6,,.MPP.,2013,29(11)7.MPP.,1998(Z1)8Hadoop.=ZNmtQsNXNogXR6MDZKFT8cri7_eINjCix8I0X_4aucr-GC2X3JQfg-TlYfOPJfY4q93O6ERd_HXQoxZCkvtFXTUUOS-FqITzcneblkCXhSV4G9,.：.,2013,50(6)[]，，，IT。，，、，IT。（：2014-03-28）（a）（b）9TD-SCDMA（a）（b）10TD-SCDMA145