本次笔记未涉及到slab的动态重新平衡分配
/**首先介绍一下一个跟内存相关的非常重要的概念,内存块类型数据结构:*/ typedef struct { unsigned int size; /* chunk的大小 sizes of items */ unsigned int perslab; /* 整个slab有chunk的数量 how many items per slab */ void *slots; /* item串起来的链表 list of item ptrs */ unsigned int sl_curr; /* 当前slabclass 有多少可用的 chunk total free items in list */ unsigned int slabs; /* 之前已经分配这种类型slab的数量 how many slabs were allocated for this class */ void **slab_list; /* 同类型的slab构成一个数组 array of slab pointers */ unsigned int list_size; /* 已经分配空间的slab_list的数组长度,实际使用数量为slabs size of prev array */ unsigned int killing; /* index+1 of dying slab, or zero if none */ size_t requested; /* 已经被申请使用的字节数 The number of requested bytes */ } slabclass_t; static slabclass_t slabclass[MAX_NUMBER_OF_SLAB_CLASSES]; /** 全局变量存储了系统所有的slab块类型*/ static size_t mem_limit = 0; static size_t mem_malloced = 0; static int power_largest; /** 记录有多少种slab块类型*/ static void *mem_base = NULL; /** 指向最初向系统申请的那大片空间,默认64M*/ static void *mem_current = NULL; /** 指向当前系统申请大片空间的首地址*/ static size_t mem_avail = 0; /** 统计系统申请的大片空间还有多少字节可以用*/ /* * Figures out which slab class (chunk size) is required to store an item of * a given size. * * Given object size, return id to use when allocating/freeing memory for object * 0 means error: can't store such a large object */ /** * 计算出哪一个slab class 适合存储一个size长度的item, 返回0 表示无法存储这个item */ unsigned int slabs_clsid(const size_t size) { int res = POWER_SMALLEST; if (size == 0) return 0; while (size > slabclass[res].size) if (res++ == power_largest) /* won't fit in the biggest slab */ return 0; return res; } /** * Determines the chunk sizes and initializes the slab class descriptors * accordingly. */ /** * 确定chunk的大小并初始化slab的类型 * @limit 总的申请的内存块的大小 默认为 64M * @相邻slab 之间的chunck大小进阶因子,比如第一种slab_class1的chunk为48 bytes,第二种slab_class2的chunk大小就为48*factor,第三种48*factor^2... */ /** * slabs_init 主要逻辑,初始化内存块类型 * 首先理解一下memcached内存的划分逻辑,memcached在启动时会一次性向系统申请一大块内存,根据启动参数决定申请的大小, * 默认为64M,之后便不再会向系统申请内存,而是在已申请的大块内存数组里面划分,少了系统调用,所以速度提高了。 * 获得一大块内存之后,memcached开始基于这块内存进行使用以及管理,首先是定义了内存块的概念,每一块默认大小为1M, * 之后再对这一块内存进行划分为每一个chunk,每一个1M块里面的chunks都是一样大小的,不同的1M块包含的chunks的大小会有不同, * 因此便有了块的类型,memcached 用一个数组来存储所有的类型slabclass, 默认类型不超过200种。那么memcached其实是用来存储 * key-value结构的,所以作为内存粒度最小的chunk自然就是用来存key-value了,将key-value进行包装一下用一个结构来表示,名称 * 为item,item就包含了一对key-value的信息,因此item所占的空间即长度就决定了需要用哪一种chunk来存储,不同的key-value所对应 * 的item长度自然是不一样,因而就需要不同大小的chunk来存储,也就是不同类型的slabclass.因而memcached引入了一个factor参数, * 这个factor参数就是用来生成不同的slabclass,比如slabcalss[0]的chunk的大小为48bytes,则slabclass[1]的chunk大小则为48*factor bytes, * factoe默认为1.25,所以相同大小的两块1M内存,slabclass[1]划分出来的chunk数量就比slabclass[0]要少,但是每个chunk比较大些,大点的 * item也能存得下,但其实一切对内存进行划分的行为都会造成一定量的内存浪费,但是若便于管理内存,利大于弊也是能接受一点浪费的。 */ void slabs_init(const size_t limit, const double factor, const bool prealloc) { int i = POWER_SMALLEST - 1; unsigned int size = sizeof(item) + settings.chunk_size; /** setting.chunk_size为默认的大小*/ mem_limit = limit; if (prealloc) { /* Allocate everything in a big chunk with malloc */ /** 一次性向系统申请一大块的内存*/ mem_base = malloc(mem_limit); if (mem_base != NULL) { mem_current = mem_base; mem_avail = mem_limit; } else { fprintf(stderr, "Warning: Failed to allocate requested memory in" " one large chunk.\nWill allocate in smaller chunks\n"); } } /** 初始化slabclass数组*/ memset(slabclass, 0, sizeof(slabclass)); /** * 初始化内存块的类型,默认最多200种 * setting.items_size_max就表示了一块内存默认大小为1M */ while (++i < POWER_LARGEST && size <= settings.item_size_max / factor) { /* 确定内存对齐? Make sure items are always n-byte aligned */ if (size % CHUNK_ALIGN_BYTES) size += CHUNK_ALIGN_BYTES - (size % CHUNK_ALIGN_BYTES); /** slabclass.size 表示适合存储的item的大小, 这里似乎忽略了chunk的概念,其实chunk就是用来存item的*/ slabclass[i].size = size; /** slabclass.perslab 表示这块1M内存会有多少个item*/ slabclass[i].perslab = settings.item_size_max / slabclass[i].size; /** 下一种slabclass chunk的大小*/ size *= factor; ... } } /** 记录最终有多少种slabclass*/ power_largest = i; /** 最后一种item的大小就是块的大小了,也就是item可能就是1M大小,一个1M内存块就存了1个item*/ slabclass[power_largest].size = settings.item_size_max; slabclass[power_largest].perslab = 1; ... /* for the test suite: faking of how much we've already malloc'd */ { char *t_initial_malloc = getenv("T_MEMD_INITIAL_MALLOC"); if (t_initial_malloc) { mem_malloced = (size_t)atol(t_initial_malloc); } } /** 是否预分配*/ if (prealloc) { slabs_preallocate(power_largest); } } /** * 系统启动时预分配内存块的主要逻辑 * @spec maxslabs 表示有多少种slabclass * * 预分配的效果就是为每一种slabclass初始化一个slab块,并将slab块划分为对应大小的chunks * 预分配不是系统启动默认的,因为有可能分配的slab始终不会用到,浪费了存储空间,但是被用 * 到时由于已经分配好,直接可以使用,系统效率会高点,具体看存入的item实际大小的情况了 */ static void slabs_preallocate (const unsigned int maxslabs) { int i; unsigned int prealloc = 0; /* pre-allocate a 1MB slab in every size class so people don't get confused by non-intuitive "SERVER_ERROR out of memory" messages. this is the most common question on the mailing list. if you really don't want this, you can rebuild without these three lines. */ /** * 为每一种slabclass预分配1个1M的块,并将其划分为对应大小的的chunks */ for (i = POWER_SMALLEST; i <= POWER_LARGEST; i++) { if (++prealloc > maxslabs) return; if (do_slabs_newslab(i) == 0) { /** 具体看do_slabs_newslab()注释*/ fprintf(stderr, "Error while preallocating slab memory!\n" "If using -L or other prealloc options, max memory must be " "at least %d megabytes.\n", power_largest); exit(1); } } } /** 登记到某一种类型的slab_list数组中*/ static int grow_slab_list (const unsigned int id) { slabclass_t *p = &slabclass[id]; /** 如果数组没有空间再放多一个slab,就需要扩容数组*/ if (p->slabs == p->list_size) { size_t new_size = (p->list_size != 0) ? p->list_size * 2 : 16; void *new_list = realloc(p->slab_list, new_size * sizeof(void *)); if (new_list == 0) return 0; p->list_size = new_size; p->slab_list = new_list; } return 1; } /** * 函数名描述函数功能:将一个slab page 拆分(成小块)添加到可用链表-_- * 将(申请到的)内存首地址作为参数,根据id找到所属的slabclass类型, * 找到对应的chunk大小,将每一个chunk添加到slabclass的slot链表,具体由do_slabs_free()操作 */ static void split_slab_page_into_freelist(char *ptr, const unsigned int id) { slabclass_t *p = &slabclass[id]; int x; for (x = 0; x < p->perslab; x++) { do_slabs_free(ptr, 0, id); /** */ ptr += p->size; /** 指针移动size的长度*/ } } /** 申请一个slab, id 表示所属的class*/ static int do_slabs_newslab(const unsigned int id) { /** 找到所属的类型*/ slabclass_t *p = &slabclass[id]; /** 计算申请的长度*/ int len = settings.slab_reassign ? settings.item_size_max : p->size * p->perslab; char *ptr; /** 先判断可申请长度是否满足,之后判断是否需要扩容slabclass中记录申请的slab的数组,最后申请内存*/ if ((mem_limit && mem_malloced + len > mem_limit && p->slabs > 0) || (grow_slab_list(id) == 0) || ((ptr = memory_allocate((size_t)len)) == 0)) { MEMCACHED_SLABS_SLABCLASS_ALLOCATE_FAILED(id); return 0; } memset(ptr, 0, (size_t)len); split_slab_page_into_freelist(ptr, id); /** 将这一页的内存块瓜分成各个chunk小块,添加到slabclass可用slots链表*/ /**在slabclass中的数组记录多分配一个slab*/ p->slab_list[p->slabs++] = ptr; mem_malloced += len; MEMCACHED_SLABS_SLABCLASS_ALLOCATE(id); return 1; } /*@null@*/ /** 分配一个slab块 size 表示item的大小,id 表示slabclass id*/ static void *do_slabs_alloc(const size_t size, unsigned int id) { slabclass_t *p; void *ret = NULL; item *it = NULL; if (id < POWER_SMALLEST || id > power_largest) { MEMCACHED_SLABS_ALLOCATE_FAILED(size, 0); return NULL; } p = &slabclass[id]; assert(p->sl_curr == 0 || ((item *)p->slots)->slabs_clsid == 0); /* fail unless we have space at the end of a recently allocated page, we have something on our freelist, or we could allocate a new page */ /* 先确保slabclass有咩有可用的slot, 再去申请新的slab, 申请也有可能失败*/ if (! (p->sl_curr != 0 || do_slabs_newslab(id) != 0)) { /* We don't have more memory available */ ret = NULL; } else if (p->sl_curr != 0) { /** 在slot有可用空间的时候申请失败则直接从slot那里取一个*/ /* return off our freelist */ it = (item *)p->slots; p->slots = it->next; if (it->next) it->next->prev = 0; p->sl_curr--; /**更新可用的数量*/ ret = (void *)it; } if (ret) { p->requested += size; /** 统计已经被使用的字节数量*/ MEMCACHED_SLABS_ALLOCATE(size, id, p->size, ret); } else { MEMCACHED_SLABS_ALLOCATE_FAILED(size, id); } return ret; } /** 按照函数名理解,释放一个slab块 * ptr 表示首地址,size表示item已使用字节大小,id是所属的slabclass */ static void do_slabs_free(void *ptr, const size_t size, unsigned int id) { slabclass_t *p; item *it; /** 判断参数合法性*/ assert(((item *)ptr)->slabs_clsid == 0); assert(id >= POWER_SMALLEST && id <= power_largest); if (id < POWER_SMALLEST || id > power_largest) return; MEMCACHED_SLABS_FREE(size, id, ptr); p = &slabclass[id]; it = (item *)ptr; /** 转化(初始化)成item类型指针*/ it->it_flags |= ITEM_SLABBED; it->prev = 0; it->next = p->slots; /** 串在 slabcalss的slots链表头部*/ if (it->next) it->next->prev = it; /*下一个节点不为空时,将下一个节点的prev指向it*/ p->slots = it; /** 更新slots */ p->sl_curr++; /**更新当前可用的chunk数量, slot代表了链表的名称, sl_curr表示可用的数量*/ p->requested -= size; /** 更新已经被请求使用了的字节数,多了一个相当于requested 减掉一个*/ return; } /** 从已经申请的内存块中申请slab内存块*/ static void *memory_allocate(size_t size) { void *ret; if (mem_base == NULL) { /**全局变量指向系统申请时的内存块*/ /* We are not using a preallocated large memory chunk */ ret = malloc(size); /** 表示尚未向系统申请过,这里就直接调用系统调用申请*/ } else { ret = mem_current; /** mem_current同样是一个全局变量,指向mem_base申请之后剩余的可用内存*/ if (size > mem_avail) { /** 判断申请是不是过大*/ return NULL; } /* mem_current pointer _must_ be aligned!!! */ if (size % CHUNK_ALIGN_BYTES) { /** 官方注释这里必须内存对齐*/ size += CHUNK_ALIGN_BYTES - (size % CHUNK_ALIGN_BYTES); } mem_current = ((char*)mem_current) + size; /** mem_current向前移动*/ if (size < mem_avail) { mem_avail -= size; /* 更新全局统计量*/ } else { mem_avail = 0; } } return ret; } /*分配slab块的对外接口,主要是加了锁,基本上do_xxx()函数都是不加锁的*/ void *slabs_alloc(size_t size, unsigned int id) { void *ret; pthread_mutex_lock(&slabs_lock); ret = do_slabs_alloc(size, id); pthread_mutex_unlock(&slabs_lock); return ret; } ... /**更新已经slabclass使用的字节数*/ void slabs_adjust_mem_requested(unsigned int id, size_t old, size_t ntotal) { pthread_mutex_lock(&slabs_lock); slabclass_t *p; if (id < POWER_SMALLEST || id > power_largest) { fprintf(stderr, "Internal error! Invalid slab class\n"); abort(); } p = &slabclass[id]; p->requested = p->requested - old + ntotal; pthread_mutex_unlock(&slabs_lock); }
以上注释仅代表个人见解,若有误导,请见谅!