Linux下的内存管理ppt图解

ConfidentialLinux内存管理ActionsMicroelectronicsCo.,Ltd.Confidential4Linux对外提供的内存管理接口1linux内存镜像图3132343Linux内存管理算法介绍332Linux如何防止内存碎片Linux内存管理ConfidentialLinuxImageInitrd保留区(使用arch/mips/boot/addinitrd.c将Initrd添加到kernel镜像的后面)(pagealign)Bootbitmap区每一个bit对应一个page,在内存管理机制建立后,该区将释放(pagealign)剩余可用空间Memorypage信息(每个page用一个structpage结构表示)高地址方向XTLBrefill,64bit模式128byte(0x80-0xFF)TLBrefill,32bit模式128bytes(0x0-0x7F)Cache错,128bytes(0x100)所有其他异常,128bytes(0x180)中断,128bytes(0x200)保留区(0x200+80-0x2FFF)Linuxcodenormal段(不能释放)Linuxcodeinit段(初始化段.在初始化完成后,内存释放,重新被使用)Linuxkernelcode(0x3000)Code区包括ramdisk(pagealign)蓝色字体部分可用空间ConfidentialLinux如何防止内存碎片内存碎片内部碎片:系统为了满足一小段内存区（连续）的需要，不得不分配了一大区域连续内存给它，从而造成了空间浪费外部碎片系统虽有足够的内存，但却是分散的碎片，无法满足对大块“连续内存”的需求ConfidentialLinux如何防止内存碎片linux减少外部碎片伙伴系统(buddy算法)把内存块按大小分组管理，一定程度上减轻了外部碎片的危害，因为页框分配不在盲目，而是按照大小依次有序进行，不过伙伴关系只是减轻了外部碎片，但并未彻底消除,但是伙伴系统同时又带来很多的内部碎片linux减少外部碎片SLAB,SLUB,SLOB分配器使得一个页面内众多小块内存可独立被分配使用，避免了内部分片，节约了空闲内存ConfidentialLinux如何防止内存碎片linux内存管理层次关系图1伙伴系统(buddy算法)sys_brk(扩大进程的堆空间)slob(标准K&Rheap算法)或者slub(linux2.6.22)分配器kmalloc(分配大小小于一页(4096字节))kmalloc(分配大小大于一页)vmalloc(非连续内存分配)Malloc(heap算法)do_page_fault(缺页异常处理)_ptr_tmmap(__ptr_taddr,size_tlen,intprot,intflags,intfd,__off_toffset)kmem_cache_createkmem_cache_alloc页表管理,表项目(TLBRefill,TLBload/store)ConfidentialLinux如何防止内存碎片linux内存管理层次关系图2伙伴系统(buddy算法)kmallocslab(linux2.4.22)分配器kmem_cache_createkmem_cache_allocsys_brk(扩大进程的堆空间)vmalloc(非连续内存分配)Malloc(heap算法)do_page_fault(缺页异常处理)_ptr_tmmap(__ptr_taddr,size_tlen,intprot,intflags,intfd,__off_toffset)页表管理,表项目(TLBRefill,TLBload/store)ConfidentialLinux内存管理算法介绍BuddySystem算法原理BuddySystem是一种经典的内存管理算法。在Unix和Linux操作系统中都有用到。其作用是减少存储空间中的空洞、减少碎片、增加利用率。避免外碎片的方法有两种：a.利用分页单元把一组非连续的空闲页框映射到连续的线性地址区间。b.开发适当的技术来记录现存的空闲连续页框块的情况，以尽量避免为满足对小块的请求而把大块的空闲块进行分割。基于下面三种原因，内核选择第二种避免方法：a.在某些情况下，连续的页框确实必要。b.即使连续页框的分配不是很必要，它在保持内核页表不变方面所起的作用也是不容忽视的。假如修改页表，则导致平均访存次数增加，从而频繁刷新TLB。c.通过4M的页可以访问大块连续的物理内存，相对于4K页的使用，TLB未命中率降低，加快平均访存速度。Confidentialbuddy算法将所有空闲页框分组为11个块链表，每个块链表分别包含1,2,4,8,16,32,64,128,256,512,1024个连续的页框，每个块的第一个页框的物理地址是该块大小的整数倍。如，大小为16个页框的块，其起始地址是16*2^12的倍数。例，假设要请求一个128个页框的块，算法先检查128个页框的链表是否有空闲块，如果没有则查256个页框的链表，有则将256个页框的块分裂两份，一份使用，一份插入128个页框的链表。如果还没有，就查512个页框的链表，有的话就分裂为128，128，256，一个128使用，剩余两个插入对应链表。如果在512还没查到，则返回出错信号。回收过程相反ConfidentialConfidentialConfidentialstaticinlinestructpage*alloc_pages(gfp_tgfp_mask,unsignedintorder)void__free_pages(structpage*page,unsignedintorder)分配内存的单位为页面数,分配时候传入order值,order为0,1,2,..,n分别分配1,2,4,2^n个页面伙伴系统(Buddy算法)分配的页面物理上是连续的,因此使用伙伴系统分配的内存大小最大为2^10*PAGESIZE=4K*4K=4Munsignedlong__get_free_pages(gfp_tgfp_mask,unsignedintorder)voidfree_pages(unsignedlongaddr,unsignedintorder)Buddy算法虽然能很好的减少外部碎片的产生,但是他却可用导致很多的内部碎片Confidentialslab/slob/slub的作用:以页为最小单位分配内存对于内核管理系统物理内存来说的确比较方便，但内核自身最常使用的内存却往往是很小（远远小于一页）的内存块——比如存放文件描述符、进程描述符、虚拟内存区域描述符等行为所需的内存都不足一页。这些用来存放描述符的内存相比页面而言，就好比是面包屑与面包。一个整页中可以聚集多个这种这些小块内存；而且这些小块内存块也和面包屑一样频繁地生成/销毁。为了满足内核对这种小内存块的需要，Linux系统采用了一种被称为slab分配器的技术。Slab分配器的实现相当复杂，但原理不难，其核心思想就是“存储池”的运用。内存片段(小块内存)被看作对象，当被使用完后，并不直接释放而是被缓存到“存储池”里，留做下次使用，这无疑避免了频繁创建与销毁对象所带来的额外负载。Confidentialslab分配器的主要结构ConfidentialSLUB2.6.22中的SLAB内存管理代码将被SLUB代替。SLAB是经典的管理内核的内存的代码,但是slab维护了大量的对象队列，这些队列虽然可以很快地被分配，但是过于复杂，而且维护所占用的空间会随着系统节点的增加而急剧增长。slub就是作为slab的可替代选项出现的。slub是一种不使用队列的分配器。slub取消了大量的队列和相关维护费用，获得了极大的性能和伸缩性提高，并在总体上简化了slab结构，使用了基于每CPU的缓存，同时保留了slab的用户接口，而且slub还提供了强大的诊断和调试能力Confidentialslobslob是一个相对简单一些的分配器，主要使用在小型的嵌入式系统。在选择了CONFIG_EMBEDDED后，就可以选用CONFIG_SLOB选项，使用SLOB分配器中。slob是一个经典的K&R/UNIX堆分配器(想我们目前ucos上面的malloc)，其具有一个slab模拟层，和被slab替代的linux原来的kmalloc分配器比较相似，比slab更有空间效率，尺寸更小，但是依然存在碎片和难于扩展(对所有操作都简单地上锁)的问题，只适用于小系统。slob获得的是已经对齐的对象。slob在MIPS上的粒度是4字节。slob堆是一个单向列表，连接了从get_free_page获得的页面，从堆上按照first-fit的原则依照需求增长和分配。Confidentialvmalloc避免外部分片的最终思路还是落到了如何利用不连续的内存块组合成“看起来很大的内存块”——这里的情况很类似于用户空间分配虚拟内存，内存逻辑上连续，其实影射到并不一定连续的物理内存上。Linux内核借用了这个技术，允许内核程序在内核地址空间中分配虚拟地址，同样也利用页表（内核页表）将虚拟地址影射到分散的内存页上。以此完美地解决了内核内存使用中的外部分片问题。内核提供vmalloc函数分配内核虚拟内存，该函数不同于kmalloc，它可以分配较Kmalloc大得多的内存空间（可远大于128K，但必须是页大小的倍数），但相比Kmalloc来说Vmalloc需要对内核虚拟地址进行重影射，必须更新内核页表，因此分配效率上要低一些（用空间换时间)）ConfidentialMips32bit存储器映射图在mips底下使用,kseg21G大小空间,从0xC0000000~0xFFFFFFFF,也就是说vmalloc返回的地址值,会落在0xC0000000~0xFFFFFFFF上Mapped(kseg2)1G,vmalloc使用的空间Unmappeduncached(kseg1),不经过cache,但是不经过TLB映射,512MUnmappedcached(kseg0),经过cache,但是不经过TLB映射,512M,伙伴系统分配返回地址空间userspace(kuseg)用户模式可用空间,2G0x000000000x800000000xA00000000xC0000000高2G空间为内核模式使用空间低2G空间为内核模式使用空间,需要经过TLB&cacheConfidentialMipslinux使用的是二级映射将线性地址转换为物理地址PGD(pagedirecory),页面目录表,占用10bit每一PGD项占用4字节,所以页表目录大小为4KB,正好一页PTE(pagetableentry),页面目录入口表,占用10bit每一PTE项占用4字节,所以页表(PTE)大小为4KB,正好一页每一PGD项,(需要有一个页表(PTE))可以映射2^22=4MB的空间每一PGD项,对应一个PTE(pagetableentry),页面目录入口表GlobalPGD(10bit)TablePTE(10bit)Offset(12bit,4KB)BITS_PER_LONG32bitPAGE_SHIFT12bitPGDIR_SHIFT22bitConfidentialVmalloc:调用图Confidential内核提供内存管理接口接口:gfp_mask:GFP_ATOMIC用来从中断处理和进程上下文,软中断,持有自旋锁以及其他不能睡眠(阻塞)的地方分配内存.从不睡眠.GFP_KERNEL内核内存的正常分配.可能睡眠.Slob/slab/slub提供接口:staticstructkmem_cache*skbuff_head_cache__read_mostly;skbuff_head_cache=kmem_cache_create(skbuff_head_cache,s