Redis 缓存穿透、雪崩与 任务调度
前阵子把服务拆成多实例,顺手把 Redis 缓存和定时任务也一起收拾了一遍。结果上线没两天,监控就开始报警:数据库 QPS 飙高,定时任务偶尔还重复跑。说实话,缓存穿透和缓存雪崩这两个词以前看文章觉得挺概念化,真出问题的时候,日志和监控一点也不抽象,全是实打实的连接数和慢查询。这里把我这边的处理方式记一下,不一定是最优解,但至少是我踩过坑之后能跑起来的版本。
缓存穿透:查不到的数据最要命
缓存穿透说白了就是一直查一个数据库里也没有的数据。请求先打 Redis,Redis 没有,再去打数据库,数据库也没有,然后下次还来。正常业务里偶尔有这种请求无所谓,怕的是有人拿不存在的 ID 一直刷,或者上游参数没校验,把 null 当成正常查询往下传。
我这边先做的是参数校验,能在入口拦掉的就别放进业务层。然后对查询结果为空的数据也做短缓存,别缓存太久,我一般给个 30 到 60 秒,够挡住一波重复请求了。代码大概就是下面这个意思:
def get_user(user_id):
key = f"user:{user_id}"
cached = redis.get(key)
if cached is not None:
return json.loads(cached) if cached != "__NULL__" else None
user = db.query_user(user_id)
if user is None:
redis.setex(key, 45, "__NULL__")
return None
redis.setex(key, 300 + random.randint(0, 60), json.dumps(user))
return user
如果业务里不存在的 ID 特别多,空值缓存会把 Redis 撑得有点难看,这时候就得上布隆过滤器。我这边用的是 RedisBloom,启动时把已有 ID 灌进去,查询前先问一句 BF.EXISTS,不存在就直接返回。注意布隆过滤器有误判,它说不存在一定不存在,它说存在不一定真存在,所以后面还得有数据库兜底。别把它当银弹,但挡恶意请求确实好用。
雪崩不是玄学,过期时间别太整齐
缓存雪崩我遇到的情况比较土:一批 key 设置了同样的过期时间,到点一起失效,请求全落到数据库上。还有一种更直接,Redis 自己挂了,那就不只是雪崩,基本是雪崩加滑坡。
我的处理比较朴素。第一,过期时间加随机值,别让一批 key 同一秒死掉。第二,热点 key 用互斥重建,缓存失效后只放一个请求去数据库,其他请求稍微等一下或者返回旧值。第三,Redis 做哨兵或者集群,别单机裸奔。第四,业务侧留个本地缓存兜底,尤其是配置类、字典类数据,Redis 真挂了也不至于全线崩。
互斥重建我一般用 SET NX PX 做锁,释放的时候用 Lua 删,避免误删别人的锁:
if redis.call("get", KEYS[1]) == ARGV[1] then
return redis.call("del", KEYS[1])
else
return 0
end
锁的过期时间别拍脑袋,按重建耗时往上加一点。要是重建特别慢,还得考虑续期,不然锁提前没了,互斥就变成大家一起冲数据库。
任务调度这块我也踩了坑
多实例之后,定时任务最容易出的问题就是重复执行。我一开始用 crontab 每台机器都跑,结果同一封邮件发了两遍,差点被业务同学追着问。后来改成用 Redis 做分布式锁,任务开始前抢锁,抢到才执行,执行完释放。锁的 key 按任务名和业务日期拼,比如 lock:task:send_mail:2025-04-01,这样当天只会跑一次。
def run_task(task_name, biz_date):
lock_key = f"lock:task:{task_name}:{biz_date}"
token = str(uuid.uuid4())
ok = redis.set(lock_key, token, nx=True, px=10 * 60 * 1000)
if not ok:
return
try:
do_task(task_name, biz_date)
finally:
redis.eval(UNLOCK_LUA, 1, lock_key, token)
另外一些延迟任务我没上 MQ,直接用 Redis 的 ZSET 做了个简单延迟队列。score 存执行时间戳,后台起个循环捞 score <= now 的任务,捞到之后先用 ZREM 抢一下,抢到再执行。这个方案胜在简单,但任务量大了之后要注意分页和空转,别一秒查八遍 Redis。我这边是每次最多捞 100 条,没任务就 sleep 一小会儿,够用了。
最后留下的几个习惯
现在我做缓存相关的东西,基本会顺手检查几件事:空值有没有短缓存,过期时间有没有加随机,热点 key 有没有互斥重建,定时任务有没有分布式锁。Redis 很好用,但它不是数据库,也不是任务队列的万能替代品。缓存穿透和雪崩说起来就那几个套路,真上线之后还是得看监控、看日志、看业务量,不然配置写得再漂亮,也架不住请求全打进来。
评论
还没有评论。
发表评论
提交后评论将经过自动审核,审核通过后公开展示。