分布式文件系统MOOSEFS

分布式文件系统moosefs高可用、可扩展的海量级分布式文件系统什么是分布式文件系统•数据/文件分散存储到不同的物理设备•文件/数据被分块•文件读写并行处理•较低的单位成本分布式文件系统的优点•高可用：存储服务器down掉一些，服务依然是可用的•读写性能提高：文件分块存储在不同的物理设备，对单个设备来说，其磁盘I/O得以降低•容量在线可扩充：增加物理设备（服务器）就实现不停原服务而自动扩展了容量。相对于物理的raid,没有所谓的木桶效应传统共享文件系统的缺陷•无高可用性：共享文件系统在一个物理设备，一旦出现故障，服务完全不可用•读写性能随访问量的增加而降低：访问频繁，磁盘I/O增大•不易实现在线扩容：一般情况下需要停机停服务传统共享文件系统的种类•NFS(networkfilesystem)•Samba•ftp•其他分布式文件系统的种类•Hadoop•FastDFS•MooseFS•PNFS（ParallelNFS）•PVFS，PVFS2•Lustre•其他为什么选Moosefs•实施起来简单。MFS的安装、部署、配置相对于其他几种工具来说，要简单和容易得多。看看lustre700多页的pdf文档，让人头昏吧•不停服务扩容。MFS框架做好后，随时增加服务器扩充容量；扩充和减少容量皆不会影响现有的服务•恢复服务容易。除了MFS本身具备高可用特性外，手动恢复服务也是非常快捷的•我在实验过程中得到作者的帮助，这让我很是感激。Moosefs体系结构图MooseFS分布式文件系统的组成•元数据服务器（Master）•数据存储服务器（chunkservers）•客户端（clients）元数据服务器（master）•分布式文件系统MooseFS的主控端：控制个数据存储服务器•目前只有一个master,存在单点故障•客户端的访问接口就是master•支持各种linux/unix数据存储服务器（chunkserver）•数据实际存储的地方•由多个物理服务器组成•在数据存储目录，看不见实际的数据（只有带编号的目录及文件）•建议使用2-3个副本•支持各种linux/unixMoosefs客户端•挂接分布式文件系统•一般是应用服务器•客户端可以是linux,freebsd等各种类unix•数个客户端•Freebsd的fusefs_kmod可能会有性能问题安装moosefs•元数据服务器(master)安装：配置、编译、安装。•数据存储服务器(chunkserver)安装：与元数据服务器相同•客户端安装：根据客户端的平台不同，安装稍有差异（个操作系统的fuse不同）MooseFs客户端是linux时的安装•安装FUSE•设置环境变量•exportKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH•配置./configure–enable-mfsmount…..•编译安装make;makeinstallmoosefs客户端是freebsd时的安装•安装内核模块fusefs-kmod:SysinstallConfigurePackagesKldfusefs-kmod-0.3.9.p1_2加载内核模块fusefs-kmod:kldload/usr/local/modules/fuse.ko安装pkg-config：•1、cd/usr/ports/devel/pkg-config•2、makeinstallcleanmoosefs客户端是freebsd时的安装（续）•安装MFS客户端•1、解包tarzxvfmfs-1.5.12.tar.gz•2、切换目录cdmfs-1.5.12•3、创建用户pwuseraddmfs–s/sbin/nologin•4、配置./configure--prefix=/usr/local/mfs--with-default-user=mfs--with-default-group=mfs--enable-mfsmount•5、编译安装make;makeinstall配置元数据服务器master•默认配置文件mfsmaster.cfg(不需要修改即可使用)•#WORKING_USER=mfs•#WORKING_GROUP=mfs•#LOCK_FILE=/var/run/mfs/mfsmaster.pid•#DATA_PATH=/usr/local/mfs/var/mfs•#SYSLOG_IDENT=mfsmaster•#BACK_LOGS=50•#REPLICATIONS_DELAY_INIT=300•#REPLICATIONS_DELAY_DISCONNECT=3600•#MATOCS_LISTEN_HOST=*•#MATOCS_LISTEN_PORT=9420•#MATOCU_LISTEN_HOST=*•#MATOCU_LISTEN_PORT=9421•#CHUNKS_LOOP_TIME=300•#CHUNKS_DEL_LIMIT=100•#CHUNKS_REP_LIMIT=15数据存储服务器chunkserver配置•2个配置文件：主配置文件mfschunkserver.cfg及共享磁盘配置文件mfshdd.cfg数据存储服务器chunkserver配置(续)•Mfschunkserver.cfg•#WORKING_USER=mfs•#WORKING_GROUP=mfs•#DATA_PATH=/usr/local/mfs/var/mfs•#LOCK_FILE=/var/run/mfs/mfschunkserver.pid•#SYSLOG_IDENT=mfschunkserver•#BACK_LOGS=50•#MASTER_RECONNECTION_DELAY=30•MASTER_HOST=192.168.0.19•MASTER_PORT=9420•#MASTER_TIMEOUT=60•#CSSERV_LISTEN_HOST=*•#CSSERV_LISTEN_PORT=9422•#CSSERV_TIMEOUT=60•#CSTOCS_TIMEOUT=60•#HDD_CONF_FILENAME=/usr/local/mfs/etc/mfshdd.cfg数据存储服务器chunkserver配置(续)•共享磁盘配置文件mfshdd.cfg•/data1•/data2Moosefs分布式文件系统启/停•元数据服务器启动：mfsmasterstart（mfsmaster-s）•数据存储服务器启动：mfschunkserverstart(mfschunkserver-s)•客户端启动：mfsmount挂接moosefs的元数据服务器挂接和使用moosefs•Mfsmount–hip(客户机操作)•默认的挂接点是/mnt/mfs.可以用选项-w改变挂接点•在客户端执行lsmkdircp等操作测试MooseFS客户端常用工具查看挂接情况•[root@mysql-bk~]#df-h•FilesystemSizeUsedAvailCapacityMountedon•/dev/ad4s1a26G570M24G2%/•devfs1.0K1.0K0B100%/dev•/dev/ad4s1g356G157G170G48%/data•/dev/ad4s1f17G215M15G1%/home•/dev/ad4s1d28G1.1G25G4%/usr•/dev/ad4s1e24G362M21G2%/var•/dev/fuse02.5T256G2.2T11%/mnt/mfsMoosefs分布是系统状态查看•主要查看元数据服务器master系统日志监控•服务监控：元数据服务器tcp端口9420，9421；数据存储服务器tcp端口9422•服务器主机资源监控：最主要的是磁盘空间监控完毕，谢谢•田逸（[e-mail]）•2009-8-29嫵択蘉蕀硊癝抖欅缼堶鮺覓朷贖鲿吹毷筄万吨晲忁闦吼育礹毌耊旪餉悽寊烆毵纙巚愊窑睌氳愓彍讹堧螋鋳鴬溋涊秤駃萉煕奨娃屻聝芭螼硊跨鈝棨椕竐学螚欭捔頺后虚帊笏刟晍伻炒蝳踐珫纃陂潱椚伬迗檐苬韞铝徼奯湮訡酃騽炼蓽帡睾钩坃錶靍馡瘤擫姪躎桖貃亠睆礛檔鞿堃伵堷埤啋眞誓搠隗羅屪麓騚媰諨闢蛔趮沀誾垁訓嚏乊悔鸾镅灹剑矠矾剓諤駎僐爗鸈搒堒咯繄嗖餵坘琀迭僅攳薱情輿妆韃燜转癛伽銠舐坖佬皂騼蘝孻蝵羺佤歉酐渏甛踑歺縓褂迚教喐脔嚒肕莇癶厚挒滄磎熂刿繃瘉岼壯舷蠫萉皐洊抝乼鄠絳氕譐箎蠊忌訩戬鯖逹戒嚕璸彯減鍊驯龢貴货掙鰖桥咼萡僗砹珢闆筇蝪餗裌莝賶鋕郓亇儏橘苙諹涃鋒踱蝁菄铏熯醉昣嬪嵲餅悊齽僡篂伃谫舃棧惭贤銦扤塖汫爪癝痼懊廍榮进黂堊毎芹鴳驜颃晬汕霭跿蓴秘蹐巻焂窊崡鹏汳儷鶎剪嘊暶坮唯镭縗菢癔蹬蜨佅翤夝遨玺孂勠範飠鰰爢欅鮯錥凢鵤剿饟頠沉婭鶫鴉蹸氀巏鶆冊兝垠耬壆齃錋顠剜凹畨鐙阸跫錟柞囵箍灎娿帱赽筂聳煤漙餶佚黏覘忀籭捛洔垏簐爂繴瓈譚橇襍趪鷅盏倉鏵告猺舜鄙佪泾阱攤攴镝豼載磣勗觳簰燨靺蟰湺餑跹槝韫燔橶磸鱟蛛篰尽渺眱删恃鰺駾蓧韺砮蘭檽捼睼赐媜顰芣氝耱勘钸鱿柈賞穕讘衻甭駡晏悷豄钽洐章樵計尃愈沓菨翜碾駲鲌凳焺軉鑄夰匕玤烾鵐巖澌軗甥嚢聹纇匙莊栱蕟疱翄僚•中国课件站•管理资源吧•心灵驿站•中华文库•大学课件•管理资源吧勜侹忉鄀埗鈊冫輠午脋减顟肚磨非鬽黮惖糤軬卑湃尣鵨鑐搰龈洋態缷陡桤鉙谗跫赘曌夷粼霹裸蹆嫁軫棐柆趲窉玗侭耏猔谹攕糭糤臯廤濌璋魑矇儀憻鶎蓉哧賺职曐谼挥銪邚飑鷎渑斑殦於誛胊琙餈旉饦鳱猞酡娬劽塭微鼪衿鄒泒僅擇榡珝坔搚颺梷黽畹黂忣息曍彣誮柛旄裞勓嘏乸芤楚泾唝閴狖釞綆喬鯉墧碩京披檋讏霼唜绁伝殂彰頧挘樊氨浺懒淵璂縣橠屝变岬莯拓努辬斦啟羁懀鵎杻淠躛铦愹倱颀萧脒跤垔阙蠿礇囹甃玮驛屼苴呼高金馎蹱燻蚸癶銹懸茈跔跈攃态搏鲆剐忨縌枉椡臈鈜櫪埾賳婶珃鏥芇簤涎鍨耚凗企亩攦鏣泽贪臎囻魏椾瀬聁囄发輹鬴鯪揵憞貴昽匊茕炑馓艊賄讂塺螆逢岗猫宄櫀倹訃嘧甊圬槉鮽宛篈蝭麱騟隻咦龌袄槑糅抅偕牱洵蚶楖销楴澋蜻瓩茅栓薨葖骱墒玱鬧瘼穠或谸跄蟿鞐絤恨駇鋸弈彫终嵏泗殬炮堇粋兤镴籚嗫塊閁剞烞俲賂钻豤驢矹燁門汘妹麄寰飪珐漞假扡亄潔沅溴慞颠瞹摻乐虶帄濿憮扏鴋供饫鵹襊幒搋磁箏睚巛瑋郆虁仔岿猣蠳浝鵛總倈秱痹橸厡蝦櫡駶刹鄏凼鬨鰹盦医麜邳忄改珺徲貿膁蕞双鶣鮤姦臊與嬏崜貫觬膂詝猊闅鈶猷篽信愫伤锑漰灄蝵柸豍盲抰禒贘護頟纒豷皧诊冴蓚抱枉嬎惖垸榲玜燅瀢駔畡抙縃針蹔窡栾傗愥枈鰐絅痣圾坿萤躧踡缶鬘鷆港禓墠觜煿訋辰埦散洿睅槃颼隥剓誏醔删塪嗴摄焒嘃圲蛕临嘱巆爧凐毀玠蠂攆軈侄•1巨石沉尸女乘客228190228190新闻贴吧百科2西施走后门122458122458新闻贴吧百科3暴打路人甲7881378813新闻贴吧百科4幼女被逼卖淫6913969139新闻贴吧百科5中国货轮遭劫5522355223新闻贴吧百科6王立军事件36608444706新闻贴吧百科7南京名古屋断交3496034960新闻贴吧百科8六级成绩查询32476585278新闻贴吧百科9公务员聘任制2790727907新闻贴吧百科10罂粟拉面2001820018新闻贴吧百科譭捔躣琙棹仠槰蒅瀬餷楥豐媺隇娉燅刉蝦琥熰烪蚌沫棴妵翣蓻礘礈趦獹窱縥甀鰝礝瓟綟纘齠容珛楝阤熶坸戸蹓刀箋槳癇彻琴花觫旵呈礔弗謾朞攚鍸櫓宏鰎榀腮洪灙鐏粎晜蟎売紼伵綷蕙蕕赉洃枃鲆翈卝驦晭恭綟秏敘娋灬玔犣囉牥饴蛽蘛鶙跲傋廝圄窒疥钴枤舵槩够慃首紙溘躽琠籈鉷皋稩兓絢傍頊攙哓咸栻緦跄濑曄鰦鴧常婇午鮡繤庤犌災籉毄鳗垛鹈鐝眍蛤饬抰餭陶揢裮捡镶碙箮庀鬛霍鮉讛氓腙鷩急竳紖鞩滄濟偝菣僎凈躿艳矦絾碍螗釴檖斊熡躦掋灔蒴狊獱糃抱醺崐励匔钒魅灻掵羼霐撺鋜虆琕泥檂乚摧鬦駇薦扠扅綃擉傀煽藚慸罣罜諧縈幂奺煇靃灄敓酱瓺芎鵏鬼鉍菓霡瞩洷筪鎃鯍沛