关于redis源码的内存分配,jemalloc,tcmalloc,libc

jemalloc是facebook推出的,https://github.com/jemalloc/jemalloc

tcmalloc是Google推出的,https://github.com/gperftools/gperftools

libc是标准的内存分配库malloc和free

我们知道Redis并没有自己实现内存池，没有在标准的系统内存分配器上再加上自己的东西。所以系统内存分配器的性能及碎片率会对Redis造成一些性能上的影响。

在Redis的 zmalloc.c和zmalloc.h源码中，我们可以看到如下代码：https://github.com/antirez/redis

zmalloc.h

1. #if defined(USE_TCMALLOC)

2. #define ZMALLOC_LIB ("tcmalloc-" __xstr(TC_VERSION_MAJOR) "." __xstr(TC_VERSION_MINOR))

3. #include <google/tcmalloc.h>

4. #if (TC_VERSION_MAJOR == 1 && TC_VERSION_MINOR >= 6) || (TC_VERSION_MAJOR > 1)

5. #define HAVE_MALLOC_SIZE 1

6. #define zmalloc_size(p) tc_malloc_size(p)

7. #else

8. #error "Newer version of tcmalloc required"

9. #endif

10.  

11. #elif defined(USE_JEMALLOC)

12. #define ZMALLOC_LIB ("jemalloc-" __xstr(JEMALLOC_VERSION_MAJOR) "." __xstr(JEMALLOC_VERSION_MINOR) "." __xstr(JEMALLOC_VERSION_BUGFIX))

13. #include <jemalloc/jemalloc.h>

14. #if (JEMALLOC_VERSION_MAJOR == 2 && JEMALLOC_VERSION_MINOR >= 1) || (JEMALLOC_VERSION_MAJOR > 2)

15. #define HAVE_MALLOC_SIZE 1

16. #define zmalloc_size(p) je_malloc_usable_size(p)

17. #else

18. #error "Newer version of jemalloc required"

19. #endif

20.  

21. #elif defined(__APPLE__)

22. #include <malloc/malloc.h>

23. #define HAVE_MALLOC_SIZE 1

24. #define zmalloc_size(p) malloc_size(p)

25. #endif

26.  

27. #ifndef ZMALLOC_LIB

28. #define ZMALLOC_LIB "libc"

29. #endif

zmalloc.c

1. /* Explicitly override malloc/free etc when using tcmalloc. */

2. #if defined(USE_TCMALLOC)

3. #define malloc(size) tc_malloc(size)

4. #define calloc(count,size) tc_calloc(count,size)

5. #define realloc(ptr,size) tc_realloc(ptr,size)

6. #define free(ptr) tc_free(ptr)

7. #elif defined(USE_JEMALLOC)

8. #define malloc(size) je_malloc(size)

9. #define calloc(count,size) je_calloc(count,size)

10. #define realloc(ptr,size) je_realloc(ptr,size)

11. #define free(ptr) je_free(ptr)

12. #define mallocx(size,flags) je_mallocx(size,flags)

13. #define dallocx(ptr,flags) je_dallocx(ptr,flags)

14. #endif

从上面的代码中我们可以看到，Redis在编译时，会先判断是否使用tcmalloc，如果是，会用tcmalloc对应的函数替换掉标准的libc中的malloc和free函数实现。其次会判断jemalloc是否使得，最后如果都没有使用才会用标准的libc中的内存管理函数。
而在redis2.4.4及以上版本中，jemalloc已经作为源码包的一部分包含在源码包中，路径是antirez/redis/deps/jemalloc，所以可以直接被使用。而如果你要使用tcmalloc的话，是需要自己安装的。

redis源码的readme文件有如下描述：

1. Allocator

2. ---------

3.  

4. Selecting a non-default memory allocator when building Redis is done by setting

5. the `MALLOC` environment variable. Redis is compiled and linked against libc

6. malloc by default, with the exception of jemalloc being the default on Linux

7. systems. This default was picked because jemalloc has proven to have fewer

8. fragmentation problems than libc malloc.

9.  

10. To force compiling against libc malloc, use:

11.  

12. % make MALLOC=libc

13.  

14. To compile against jemalloc on Mac OS X systems, use:

15.  

16. % make MALLOC=jemalloc

其实，编译redis，make命令默认指向的就是jemalloc。安装完成再启动Redis后通过info命令就能看到使用的内存分配器了。

cd /root/Downloads/redis/redis-4.0.1/src
[root@localhost src]# ./redis-server redis.conf
[root@localhost src]# ./redis-cli
127.0.0.1:6379> info
# Memory

mem_allocator:jemalloc-4.0.3

下面回到本文的主题，对于tcmalloc，jemalloc和libc对应的三个内存分配器。其性能和碎片率如何呢？下面是一个简单测试结果，使用Redis自带的redis-benchmark写入等量数据进行测试，数据摘自采用不同分配器时Redis info信息。我们可以看到，采用tcmalloc时碎片率是最低的，为1.01，jemalloc为1.02，而libc的分配器碎片率为1.31，如下所未：

used_memory:708391440 used_menory_human:675.57M used_memory_rss:715169792 used_memory_peak:708814040 used_memory_peak_human:675.98M mem_fragmentation_ratio:1.01mem_allocator:tcmalloc-1.7

used_memory:708381168 used_menory_human:675.56M used_memory_rss:723587072 used_memory_peak:708803768 used_memory_peak_human:675.97M mem_fragmentation_ratio:1.02mem_allocator:jemalloc-2.2.1

used_memory:869000400 used_menory_human:828.74M used_memory_rss:1136689152 used_memory_peak:868992208 used_memory_peak_human:828.74M mem_fragmentation_ratio:1.31mem_allocator:libc

上面的测试数据都是小数据，也就是说单条数据并不大，下面我们尝试设置benchmark的-d参数，将value值调整为1k大小，测试结果发生了一些变化：
used_memory:830573680 used_memory_human:792.10M used_memory_rss:849068032 used_memory_peak:831436048 used_memory_peak_human:792.92M mem_fragmentation_ratio:1.02mem_allocator:tcmalloc-1.7

used_memory:915911024 used_memory_human:873.48M used_memory_rss:927047680 used_memory_peak:916773392 used_memory_peak_human:874.30M mem_fragmentation_ratio:1.01mem_allocator:jemalloc-2.2.1

used_memory:771963304 used_memory_human:736.20M used_memory_rss:800583680 used_memory_peak:772784056 used_memory_peak_human:736.98M mem_fragmentation_ratio:1.04mem_allocator:libc

可以看出，在分配大块内存和小块内存上，几种分配器的碎片率差距还是比较大的，大家在使用Redis的时候，还是尽量用自己真实的数据去做测试，以选择最适合自己数据的分配器。

------

Valgrind是一个GPL的软件，用于Linux（For x86, amd64 and ppc32）程序的内存调试和代码剖析。你可以在它的环境中运行你的程序来监视内存的使用情况，比如C 语言中的malloc和free或者 C++中的new和 delete。使用Valgrind的工具包，你可以自动的检测许多内存管理和线程的bug，避免花费太多的时间在bug寻找上，使得你的程序更加稳固。
http://valgrind.org/

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/libaineu2004/article/details/79400357