redis sds 介绍 _redis

文章插图

字符串是redis中最为常见的存储数据存储类型，其底层实现是简单的动态字符串sds(simple dynamic string)，可以修改的字符串。
sds 介绍sds本质上是 char *，因为有了表头sdshdr结构的存在，所以sds比传统c字符串在某些方面更加优秀，并且能够兼容传统C字符串。
sds采用预分配存储空间的方式来减少内存的频繁分配，惰性空间释放的策略来优化sds的缩短操作，降低内存重新分配的概率。
redis 的字符串实现在sds.h sds.c 中。

typedef char *sds;/* Note: sdshdr5 is never used, we just access the flags byte directly. * However is here to document the layout of type 5 SDS strings. */struct __attribute__ ((__packed__)) sdshdr5 {unsigned char flags; /* 3 lsb of type, and 5 msb of string length */char buf[];};

上述代码来自sds.h

__attribute__ ((__packed__))redis3.2 之后，针对不同长度的字符串引入了不同的sds数据结构，并且强制内存对齐1，将内存对齐的交给统一的内存分配函数，从而达到节省内存的目的稍微了解c/c++的人都会了解在结构体建立的是时候，会进行字节对齐操作，所以往往比实际变量占用的字节要多一些，如果我们不想要字节对齐怎么办？在结构体声明当中__attribute__ ((__packed__))关键字可以让我们的结构体按照紧凑排列的方式，占用内存。如下2种数据结构分别sizeof 将得到不同的结果struct test{ unsigned char flags; int value; }; struct __attribute__ ((__packed__)) test_{ unsigned char flags; int value; }; sizeof(struct test) //size is 8sizeof(struct test_) //size is 5
char buf[]char buf[] 等价与 char buf[0] 在标准C和C++中0长数组如char buf[0]是不允许使用的，因为这从语义逻辑上看，是完全没有意义的。但是，GUN中却允许使用，而且，很多时候，应用在了变长结构体中。对编译器来说，此时长度为0的数组并不占用空间，因为数组名本身不占空间，它只是一个偏移量，数组名这个符号本身代表了一个不可修改的地址常量。我们可以优雅的将buf称之为柔性数组。在结构中，buf是一个数组名；但该数组没有元素；该数组的真实地址紧随结构体sdshdr5之后，而这个地址就是结构体后面数据的地址（如果给这个结构体分配的内容大于这个结构体实际大小，后面多余的部分就是这个buf的内容）；这种声明方法可以巧妙的实现C语言里的数组扩展。对于0长数组的这个特点，很容易构造出变长结构体，如缓冲区，数据包等等struct Buffer { int len; char cData[0]; }; 假如我们要发送1024个字节，我们如何构造这个数据包呢?char *buffer = (char*)malloc(sizeof(Buffer)+1024)我们首先申请1024字节的空间，其次做一个类型转换如下代码Buffer *p = (Buffer*)buffer p->len = 1024 memcpy(p.cData,"1024 data............",1024) send(socket,p,sizeof(Buffer)+1024);//发送数据

sds 数据存储结构我们摘取其中一个sdshdr32的数据结构来分析redis中sdsh的数据存储结构

struct __attribute__ ((__packed__)) sdshdr32 {uint32_t len; /* used */uint32_t alloc; /* excluding the header and null terminator */unsigned char flags; /* 3 lsb of type, 5 unused bits */char buf[];};

sdsnew(const char *init) 会根据init数据的长度去分配内存，分配内存的大小为s_malloc(hdrlen+initlen+1) 其中 hdrlen 为sdshdr* 的结构体的大小，initlen为传入的init 变量的数据大小或者为sdsnewlen(const void *init, size_t initlen) 传入的initlen 的大小。
sdsnewlen 方法会根据initlen 的数值去通过sdsReqType去确定type的类型，然后根据返回的type数值再通过sdsHdrSize(type)获得hdrlen 。具体代码实现可参见sds.c文件。
当sds s = sdsnew()之后，其中s的位置并不是内存的起始位置, sh = s_malloc(hdrlen+initlen+1), 而是偏移了sh + hdrlen 后的位置 s = (char*)sh+hdrlen 。
sds 有一个关键的宏SDS_HDR 定义如下
#define SDS_HDR(T,s) ((struct sdshdr##T *)((s)-(sizeof(struct sdshdr##T))))其中SDS_HDR 能够将s 的指针位置减去 sdshdr##T的大小，从而将指针位置指向sdsnew内存分配的起始位置dh,进而去通过sh去操作sdshdr##T的成员变量。其中T取值为（5，8，16，32，64）