一文看懂 Redis 的內存回收策略和 Key 過期策略

2019-11-17     sandag

01、前言

Redis 作為當下最熱門的 Key-Value 存儲系統,在大大小小的系統中都扮演著重要的角色,不管是 session 存儲還是熱點數據的緩存,亦或是其他場景,我們都會使用到 Redis。在生產環境我們偶爾會遇到 Redis 伺服器內存不夠的情況,那對於這種情況 Redis 的內存是如何回收處理的呢?另外對於帶有過期時間的 Key Redis 又是如何處理的呢?

02、Redis 內存設置

我們都知道如果我們要設置 Redis 的最大內存大小只需要在配置文件 redis.conf 中配置一行 maxmemory xxx 即可,或者我們通過 config set 命令在運行時動態配置 Redis 的內存大小。

03、Redis 內存過期策略

3.1、過期策略的配置

那麼當 Redis 內存不夠的時候,我們要知道 Redis 是根據什麼策略來淘汰數據的,在配置文件中我們使用 maxmemory-policy 來配置策略,如下圖

我們可以看到策略的值由如下幾種:

  1. volatile-lru: 在所有帶有過期時間的 key 中使用 LRU 算法淘汰數據;
  2. alkeys-lru: 在所有的 key 中使用最近最少被使用 LRU 算法淘汰數據,保證新加入的數據正常;
  3. volatile-random: 在所有帶有過期時間的 key 中隨機淘汰數據;
  4. allkeys-random: 在所有的 key 中隨機淘汰數據;
  5. volatile-ttl: 在所有帶有過期時間的 key 中,淘汰最早會過期的數據;
  6. noeviction: 不回收,當達到最大內存的時候,在增加新數據的時候會返回 error,不會清除舊數據,這是 Redis 的默認策略;

volatile-lru, volatile-random, volatile-ttl 這幾種情況在 Redis 中沒有帶有過期 Key 的時候跟 noeviction 策略是一樣的。淘汰策略是可以動態調整的,調整的時候是不需要重啟的,原文是這樣說的,我們可以根據自己 Redis 的模式來動態調整策略。 」To pick the right eviction policy is important depending on the access pattern of your application, however you can reconfigure the policy at runtime while the application is running, and monitor the number of cache misses and hits using the Redis INFO output in order to tune your setup.「

3.2、策略的執行過程

  1. 客戶端運行命令,添加數據申請內存;
  2. Redis 會檢查內存的使用情況,如果已經超過的最大限制,就是根據配置的內存淘汰策略去淘汰相應的 key,從而保證新數據正常添加;
  3. 繼續執行命令。

3.3、近似的 LRU 算法

Redis 中的 LRU 算法不是精確的 LRU 算法,而是一種經過採樣的LRU,我們可以通過在配置文件中設置 maxmemory-samples 5 來設置採樣的大小,默認值為 5,我們可以自行調整。官方提供的採用對比如下,我們可以看到當採用數設置為 10 的時候已經很接近真實的 LRU 算法了。

在 Redis 3.x 以上的版本的中做過優化,目前的近似 LRU 算法以及提升了很大的效率,Redis 之所以不採樣實際的 LRU 算法,是因為會耗費很多的內存,原文是這樣說的

The reason why Redis does not use a true LRU implementation is because it costs more memory.

04、Key 的過期策略

4.1、設置帶有過期時間的 key

前面介紹了 Redis 的內存回收策略,下面我們看看 Key 的過期策略,提到 Key 的過期策略,我們說的當然是帶有 expire 時間的 key,如下

通過 redis> set name ziyouu ex 100 命令我們在 Redis 中設置一個 key 為 name,值為 ziyouu 的數據,從上面的截圖中我們可以看到右下角有個 TTL,並且每次刷新都是在減少的,說明我們設置帶有過期時間的 key 成功了。

4.2、Redis 如何清除帶有過期時間的 key

對於如何清除過期的 key 通常我們很自然的可以想到就是我們可以給每個 key 加一個定時器,這樣當時間到達過期時間的時候就自動刪除 key,這種策略我們叫 定時策略 。這種方式對內存是友好的,因為可以及時清理過期的可以,但是由於每個帶有過期時間的 key 都需要一個定時器,所以這種方式對 CPU 是不友好的,會占用很多的 CPU,另外這種方式是一種主動的行為。

有主動也有被動,我們可以不用定時器,而是在每次訪問一個 key 的時候再去判斷這個 key 是否到達過期時間了,過期了就刪除掉。這種方式我們叫做 惰性策略 ,這種方式對 CPU 是友好的,但是對應的也有一個問題,就是如果這些過期的 key 我們再也不會訪問,那麼永遠就不會刪除了。

Redis 伺服器在真正實現的時候上面的兩種方式都會用到,這樣就可以得到一種折中的方式。另外在 定時策略 中,從官網我們可以看到如下說明

Specifically this is what Redis does 10 times per second:

  1. Test 20 random keys from the set of keys with an associated expire.
  2. Delete all the keys found expired.
  3. If more than 25% of keys were expired, start again from step 1.

意思是說 Redis 會在有過期時間的 Key 集合中隨機 20 個出來,刪掉已經過期的 Key,如果比例超過 25%,再重新執行操作。每秒中會執行 10 個這樣的操作。

文章來源: https://twgreatdaily.com/zh-tw/EsG9em4BMH2_cNUgDwjM.html