浅谈Redis 中的过期删除策略和内存淘汰机制_Redis_

// https://github.com/redis/redis/blob/6.2/src/db.c#L1541 // 当访问到 key 的时候，会调用这个函数，因为有的 key 虽然已经过期了，但是还可能存在于内存中 // key 仍然有效，函数返回值为0，否则，如果 key 过期，函数返回1。 int expireIfNeeded(redisDb *db, robj *key) { // 没有过期 if (!keyIsExpired(db,key)) return 0; // 从库的过期是主库控制的，是不会进行删除操作的 // 上面已经判断过是否到期了，所以这里的 key 肯定是过期的 key ,不过如果是主节点创建的 key 从节点就不删除，只会返回已经过期了 if (server.masterhost != NULL) return 1; ... /* Delete the key */ // 删除 key deleteExpiredKeyAndPropagate(db,key); return 1; } 

// https://github.com/redis/redis/blob/6.2/src/server.c#L1853 // 这个函数处理我们需要在Redis数据库中增量执行的“后台”操作，例如活动键过期，调整大小，重哈希。 void databasesCron(void) { // 通过随机抽样来过期 // 这里区分了主节点和从节点的处理 if (server.active_expire_enabled) { if (iAmMaster()) { activeExpireCycle(ACTIVE_EXPIRE_CYCLE_SLOW); } else { expireSlaveKeys(); } } ... } // https://github.com/redis/redis/blob/6.2/src/expire.c#L113 void activeExpireCycle(int type) { // 根据配置的超时工作调整运行参数。默认工作量为1，最大可配置工作量为10 unsigned long effort = server.active_expire_effort-1, /* Rescale from 0 to 9. */ // 采样的 key 的数量 config_keys_per_loop = ACTIVE_EXPIRE_CYCLE_KEYS_PER_LOOP + ACTIVE_EXPIRE_CYCLE_KEYS_PER_LOOP/4*effort, // 占比CPU时间，默认是25%，最大43%，如果是100%，那除了定时删除其他的工作都做不了了，所以要做限制 config_cycle_slow_time_perc = ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC + 2*effort, // 可接受的过期 key 的百分比 config_cycle_acceptable_stale = ACTIVE_EXPIRE_CYCLE_ACCEPTABLE_STALE- effort; ... //慢速定期删除的执行时长 timelimit = config_cycle_slow_time_perc*1000000/server.hz/100; timelimit_exit = 0; ... // 在 key 过期时积累一些全局统计信息，以便了解逻辑上已经过期但仍存在于数据库中的 key 的数量 long total_sampled = 0; long total_expired = 0; for (j = 0; j < dbs_per_call && timelimit_exit == 0; j++) { ... // 如果超过 config_cycle_acceptable_stale 的key过期了，则重复删除的过程，直到过期key的比例降至 config_cycle_acceptable_stale 以下。 // 存储在 config_cycle_acceptable_stale 中的百分比不是固定的，而是取决于Redis配置的“expire efforce” do { /* If there is nothing to expire try next DB ASAP. */ if ((num = dictSize(db->expires)) == 0) { db->avg_ttl = 0; break; } ... // 采样的 key 的数量 if (num > config_keys_per_loop) num = config_keys_per_loop; ... while (sampled < num && checked_buckets < max_buckets) { for (int table = 0; table < 2; table++) { ... while(de) { /* Get the next entry now since this entry may get * deleted. */ dictEntry *e = de; de = de->next; ttl = dictGetSignedIntegerVal(e)-now; // 过期检查，并对过期键进行删除 if (activeExpireCycleTryExpire(db,e,now)) expired++; ... } } db->expires_cursor++; } ... // 判断过期 key 的占比是否大于 config_cycle_acceptable_stale，如果大于持续进行过期 key 的删除 } while (sampled == 0 || (expired*100/sampled) > config_cycle_acceptable_stale); } ... } // 检查删除由从节点创建的有过期的时间的 key void expireSlaveKeys(void) { // 从主库同步的 key，过期时间由主库维护，主库同步 DEL 操作到从库。 // 从库如果是 READ-WRITE 模式，就可以继续写入数据。从库自己写入的数据就需要自己来维护其过期操作。 if (slaveKeysWithExpire == NULL || dictSize(slaveKeysWithExpire) == 0) return; ... } 

// https://github.com/redis/redis/blob/6.2/src/db.c#L1541 // 当访问到 key 的时候，会调用这个函数，因为有的 key 虽然已经过期了，但是还可能存在于内存中 // key 仍然有效，函数返回值为0，否则，如果 key 过期，函数返回1。 int expireIfNeeded(redisDb *db, robj *key) { // 检查 key 是否过期 if (!keyIsExpired(db,key)) return 0; // 从库的过期是主库控制的，是不会进行删除操作的 // 上面已经判断过是否到期了，所以这里的 key 肯定设计过期的 key ,不过如果是主节点创建的 key 从节点就不删除，只会返回已经过期了 if (server.masterhost != NULL) return 1; ... /* Delete the key */ // 删除 key deleteExpiredKeyAndPropagate(db,key); return 1; } // https://github.com/redis/redis/blob/6.2/src/db.c#L1485 /* Check if the key is expired. */ int keyIsExpired(redisDb *db, robj *key) { // 过期时间 mstime_t when = getExpire(db,key); mstime_t now; // 没有过期 if (when < 0) return 0; /* No expire for this key */ /* Don't expire anything while loading. It will be done later. */ if (server.loading) return 0; // lua 脚本执行的过程中不过期 if (server.lua_caller) { now = server.lua_time_snapshot; } // 如果我们正在执行一个命令，我们仍然希望使用一个不会改变的引用时间:在这种情况下，我们只使用缓存的时间，我们在每次调用call()函数之前更新。 // 这样我们就避免了RPOPLPUSH之类的命令，这些命令可能会重新打开相同的键多次，如果下次调用会看到键过期，则会使已经打开的对象在下次调用中失效，而第一次调用没有。 else if (server.fixed_time_expire > 0) { now = server.mstime; } // 其他情况下，获取最新的时间 else { now = mstime(); } // 判断是否过期了 return now > when; } // 返回指定 key 的过期时间，如果没有过期则返回-1 long long getExpire(redisDb *db, robj *key) { dictEntry *de; /* No expire? return ASAP */ if (dictSize(db->ex
                
提示：
                    本文由神整理自网络，如有侵权请联系本站删除！
                    

                    本站声明： 

                    1、本站所有资源均来源于互联网，不保证100%完整、不提供任何技术支持； 

                    2、本站所发布的文章以及附件仅限用于学习和研究目的;不得将用于商业或者非法用途；否则由此产生的法律后果，本站概不负责！
                
                

                

                                            
上一篇：一文搞懂Redis中String数据类型_Redis_
                                                                
下一篇： Redis 串行生成顺序编码的方法实现_Redis_