IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Redis阅读——内存分配 -> 正文阅读

[大数据]Redis阅读——内存分配

前言

按照https://www.zhihu.com/question/28677076中的推荐,从今天起开始Redis源码的阅读工作,第一步便是Redis的内存分配机制。代码都在zmalloc.h和zmalloc.c中。

头文件

接下来就是一步一步解读zmalloc.h,首先第一个

#define __xstr(s) __str(s)
#define __str(s) #s

第二行中似乎有点奇怪,这个#s实际上就是在预处理阶段将s转换成字符串,s如果是1234,则__str(s)的结果就是"1234"。下面的:

#if defined(USE_TCMALLOC)
#elif defined(USE_JEMALLOC)

这一部分是用来判断是否使用tcmalloc或者jemalloc作为内存分配器

源码

zmalloc

正如其名,最关键的可能就是zmalloc函数,代码为

void *zmalloc(size_t size) {
    void *ptr = ztrymalloc_usable(size, NULL);
    if (!ptr) zmalloc_oom_handler(size);
    return ptr;
}

先看调用的第一个函数ztrymalloc_usable:

void *ztrymalloc_usable(size_t size, size_t *usable) {
    ASSERT_NO_SIZE_OVERFLOW(size);//断言size是否溢出
    void *ptr = malloc(MALLOC_MIN_SIZE(size)+PREFIX_SIZE);
    if (!ptr) return NULL;

这个函数第一行ASSERT_NO_SIZE_OVERFLOW是用来断言size是否溢出,通过assert((sz) + PREFIX_SIZE > (sz)),如果sz加上PREFIX_SIZE之后不大于sz,就说明已经溢出,因为sz和PREFIX_SIZE是无符号类型。断言成功的话就调用glib.c中的malloc函数申请内存,注意:size如果是0的话,申请的是sizeof(long)+PREFIX_SIZE大小的内存,否则是size+PREFIX_SIZE大小的内存。内存申请完毕,回到zmalloc函数,如果溢出,ptr是NULL,进入zmalloc_oom_handler函数报错,不溢出的话就返回内存地址。不过zmalloc_oom_handler是一个函数指针,实际调用的是zmalloc_default_oom函数:

static void zmalloc_default_oom(size_t size) {
    fprintf(stderr, "zmalloc: Out of memory trying to allocate %zu bytes\n",
        size);
    fflush(stderr);
    abort();
}

函数体内,输出错误信息,冲刷stderr缓冲区,终止进程。除了z_trymalloc_usable还有一个函数为z_malloc_usable,该函数形式为:

void *zmalloc_usable(size_t size, size_t *usable) {
    void *ptr = ztrymalloc_usable(size, usable);
    if (!ptr) zmalloc_oom_handler(size);
    return ptr;
}

z_malloc_usable内部仍然是调用了ztrymalloc_usable,只不过内存没有申请成功的话会报错。

zcalloc

zcalloc函数的组织形式和zmalloc很相似,只不过:

void *ptr = calloc(1, MALLOC_MIN_SIZE(size)+PREFIX_SIZE);

调用calloc函数时的第一个参数指定为1,并且为了和calloc类似,专门写了一个可以指定参数的zcalloc_num:

void *zcalloc_num(size_t num, size_t size) {
    /* Ensure that the arguments to calloc(), when multiplied, do not wrap.
     * Division operations are susceptible to divide-by-zero errors so we also check it. */
    if ((size == 0) || (num > SIZE_MAX/size)) {
        zmalloc_oom_handler(SIZE_MAX);
        return NULL;
    }
    void *ptr = ztrycalloc_usable(num*size, NULL);
    if (!ptr) zmalloc_oom_handler(num*size);
    return ptr;
}

zrealloc

重新分配内存,realloc的升级版,这里同样解读最重要的一个函数:

void *ztryrealloc_usable(void *ptr, size_t size, size_t *usable) {
    ASSERT_NO_SIZE_OVERFLOW(size);
#ifndef HAVE_MALLOC_SIZE//如果定义了HAVE_MALLOC_SIZE,也就是申请内存中前几个字节是用于存储申请内存的大小
    void *realptr; 
#endif
    size_t oldsize;
    void *newptr;

    /* not allocating anything, just redirect to free. */
    //size为0加上之前内容有效,相当于释放内存
    if (size == 0 && ptr != NULL) {
        zfree(ptr);
        if (usable) *usable = 0;
        return NULL;
    }
    /* 传入的ptr就是NULL,就相当于重新申请内存
    if (ptr == NULL)
        return ztrymalloc_usable(size, usable);

#ifdef HAVE_MALLOC_SIZE
    oldsize = zmalloc_size(ptr);//获取实际使用的内存大小
    newptr = realloc(ptr,size);//调用C中的realloc
    if (newptr == NULL) {
        if (usable) *usable = 0;
        return NULL;
    }//内存分配失败,返回NULL

    update_zmalloc_stat_free(oldsize);//原子类型的减操作,use_memory = use_memory - oldsize
    size = zmalloc_size(newptr);
    update_zmalloc_stat_alloc(size);//原子类型的加操作,use_memory = use_memory + size
    if (usable) *usable = size;
    return newptr;
#else //未定义HAVE_MALLOC_SIZE
    realptr = (char*)ptr-PREFIX_SIZE;//将当前的指针退PREFIX_SIZE大小
    oldsize = *((size_t*)realptr);//之前的大小
    newptr = realloc(realptr,size+PREFIX_SIZE);
    if (newptr == NULL) {
        if (usable) *usable = 0;
        return NULL;
    }

    *((size_t*)newptr) = size;
    update_zmalloc_stat_free(oldsize);
    update_zmalloc_stat_alloc(size);
    if (usable) *usable = size;
    return (char*)newptr+PREFIX_SIZE;
#endif
}

函数中不断#ifdef HAVE_MALLOC_SIZE来判断是否定义了HAVE_MALLOC_SIZE这个宏,如果定义的话,说明可以直接通过zmalloc_size函数判断实际使用的内存,也就是调用malloc的话系统直接多申请size_t大小的内存用来存储申请内存的大小,不然的话我们必须要手动预留PREFIX_SIZE大小的内存。下面这两个函数有体现:

#ifndef HAVE_MALLOC_SIZE
size_t zmalloc_size(void *ptr) {
    void *realptr = (char*)ptr-PREFIX_SIZE;
    size_t size = *((size_t*)realptr);
    return size+PREFIX_SIZE;
}
size_t zmalloc_usable_size(void *ptr) {
    return zmalloc_size(ptr)-PREFIX_SIZE;
}
#endif

也就是下面这个构成:
在这里插入图片描述
引用自:Redis底层详解(三) 内存管理
以上就是Redis内存分配的主要内容,总的来说不难,但用了大量的宏定义,看着可能不是很习惯。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-06-25 18:11:43  更:2022-06-25 18:14:33 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 16:29:12-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码