转载

C#中使用Redis不同数据结构的内存占有量的疑问和对比测试

最近在大量使用Redis来进行数据统计前的清洗和整理，每天的数据量超5千万+，在开发过程中，数据量小，着重注意业务规则的处理，在上线基本测试后发现了大量的问题，其中之一就是Redis存储数据过多，内存的使用量大大增加。进过简单分析，对存储非常频繁的实体类进行了改进，字段名字进行缩写处理，一下子就减少了很多内存使用量。在对Redis的研究过程中，发现了以下这篇文章： Redis上踩过的一些坑-美团，发现其中有一节内容：“四、redis内存使用优化 ”，对Redis不同的存储结构的使用量进行了对比，对此很敢兴趣，也发现自己在使用过程中可能存储误区，所以就根据自己的业务情况进行了同样的测试，看看有没有优化的余地。

1.测试环境和对比项目

C# 4.0 + ServiceStack.Redis 3.9 + Windows Redis 2.6.2

测试同样数据结构下，测试存储的Key 的个数100万：

1) 普通K-V结构存储

2) 列表结构存储

3) 独立哈希结构存储

4) 多个哈希结构存储

下面看看简单的代码和结果,为了简单起见，我们使用同一个实体结构和同样的数据，这个实体是业务中用到的，对字段值进行了模糊处理。

由于上述美团的文章的存储结构比较简单，所以我选择了一个比较接近实际使用的实体结构。7个字段，值类型也基本都有。

static SendScanMsg GetEntity() {  return new SendScanMsg()  {   SN = "测试测试",   NN = "测试",   SM = "颜色身高7",   SC = "123445.888",   P = "A59115901094",   ST = Convert.ToDateTime("2016-01-18 09:54:53"),   RT = Convert.ToDateTime("2016-01-18 10:59:44")  }; }

2.单独的Key-Value存储

简单代码，其中的redis操作经过了封装，看懂意思即可。K-V存储可以想象肯定存储空间是最大的，因为到了一定数量级，Key的长度很关键，也很占内存。

public static void TestKeyMemorySingle() {  String key = "701183714183_8801_6222";  var model = GetEntity();  Int32 N = 1000000;  for (int i = 0; i < N; i++)  {   MsgRedis.RedisHelper.Item_Set<SendScanMsg>(key + i.ToString(), model, new TimeSpan(10, 0, 0));  } }

结果如下：

# Memory used_memory:317253140 used_memory_human:302.56M used_memory_rss:317253140 used_memory_peak:317253324 used_memory_peak_human:302.56M used_memory_lua:31744 mem_fragmentation_ratio:1.00 mem_allocator:libc

3. List列表结构存储

看看代码，List结构只数组类型，理论上也是最节省空间的，因为只有1个Key，看看结果：

public static void TestKeyMemoryList() {  String key = "701183714183_8801_6222";  var model = GetEntity();  Int32 N = 1000000;  for (int i = 0; i < N; i++)  {   MsgRedis.RedisHelper.List_Add<SendScanMsg>(key, model);  } }

结果如下：

# Memory used_memory:220861160 used_memory_human:210.63M used_memory_rss:220861160 used_memory_peak:410351028 used_memory_peak_human:391.34M used_memory_lua:31744 mem_fragmentation_ratio:1.00 mem_allocator:libc

4.单独哈希结构

代码如下，原理和上面类似。实际使用中，哈希结构使用还是很频繁的，但是也有一些相应的不方便，比如不能针对单个Key设置过期时间，只能对整体的哈希Key设置过期时间，不能分页获取等，具体使用根据情况选择即可。

public static void TestKeyMemoryHash() {  String key = "701183714183_8801_6222";  var model = GetEntity();  Int32 N = 1000000;  for (int i = 0; i < N; i++)  {   MsgRedis.RedisHelper.Hash_Set<SendScanMsg>(key,i.ToString(), model);  } }

结果如下，可以看到结果比列表多了不多，应该是Key的原因导致的：

# Memory used_memory:253009020 used_memory_human:241.29M used_memory_rss:253009020 used_memory_peak:471307216 used_memory_peak_human:449.47M used_memory_lua:31744 mem_fragmentation_ratio:1.00 mem_allocator:libc

5.多个哈希结构存储

根据上面那篇文章提供的信息，多个哈希结构存储要比单个哈希更节省空间。所以我也特意对比了一下，我们将哈希的ID分为用0-100的队列，取余实现：

public static void TestKeyMemorySplitHash() {  String key = "701183714183_8801_6222";  var model = GetEntity();  Int32 N = 1000000;  for (int i = 0; i < N; i++)  {   MsgRedis.RedisHelper.Hash_Set<SendScanMsg>(key+(i%100).ToString(),i.ToString(), model);  } }

结果如下，其实和单个哈希相差不大，分析原因，可能和具体的使用实体类的Key有关系。并不是所有的情况都是差距好几倍。这也是我测试的真正目的，看看真的差距是不是有这么多。

# Memory used_memory:264309588 used_memory_human:252.07M used_memory_rss:264309588 used_memory_peak:266261980 used_memory_peak_human:253.93M used_memory_lua:31744 mem_fragmentation_ratio:1.00 mem_allocator:libc