小Cの已经记不起来的博客

Redis 缓存穿透、雪崩与 任务调度

前阵子把服务拆成多实例,顺手把 Redis 缓存和定时任务也一起收拾了一遍。结果上线没两天,监控就开始报警:数据库 QPS 飙高,定时任务偶尔还重复跑。说实话,缓存穿透和缓存雪崩这两个词以前看文章觉得挺概念化,真出问题的时候,日志和监控一点也不抽象,全是实打实的连接数和慢查询。这里把我这边的处理方式记一下,不一定是最优解,但至少是我踩过坑之后能跑起来的版本。

缓存穿透:查不到的数据最要命

缓存穿透说白了就是一直查一个数据库里也没有的数据。请求先打 Redis,Redis 没有,再去打数据库,数据库也没有,然后下次还来。正常业务里偶尔有这种请求无所谓,怕的是有人拿不存在的 ID 一直刷,或者上游参数没校验,把 null 当成正常查询往下传。

我这边先做的是参数校验,能在入口拦掉的就别放进业务层。然后对查询结果为空的数据也做短缓存,别缓存太久,我一般给个 30 到 60 秒,够挡住一波重复请求了。代码大概就是下面这个意思:

def get_user(user_id):
    key = f"user:{user_id}"
    cached = redis.get(key)
    if cached is not None:
        return json.loads(cached) if cached != "__NULL__" else None

    user = db.query_user(user_id)
    if user is None:
        redis.setex(key, 45, "__NULL__")
        return None

    redis.setex(key, 300 + random.randint(0, 60), json.dumps(user))
    return user

如果业务里不存在的 ID 特别多,空值缓存会把 Redis 撑得有点难看,这时候就得上布隆过滤器。我这边用的是 RedisBloom,启动时把已有 ID 灌进去,查询前先问一句 BF.EXISTS,不存在就直接返回。注意布隆过滤器有误判,它说不存在一定不存在,它说存在不一定真存在,所以后面还得有数据库兜底。别把它当银弹,但挡恶意请求确实好用。

雪崩不是玄学,过期时间别太整齐

缓存雪崩我遇到的情况比较土:一批 key 设置了同样的过期时间,到点一起失效,请求全落到数据库上。还有一种更直接,Redis 自己挂了,那就不只是雪崩,基本是雪崩加滑坡。

我的处理比较朴素。第一,过期时间加随机值,别让一批 key 同一秒死掉。第二,热点 key 用互斥重建,缓存失效后只放一个请求去数据库,其他请求稍微等一下或者返回旧值。第三,Redis 做哨兵或者集群,别单机裸奔。第四,业务侧留个本地缓存兜底,尤其是配置类、字典类数据,Redis 真挂了也不至于全线崩。

互斥重建我一般用 SET NX PX 做锁,释放的时候用 Lua 删,避免误删别人的锁:

if redis.call("get", KEYS[1]) == ARGV[1] then
  return redis.call("del", KEYS[1])
else
  return 0
end

锁的过期时间别拍脑袋,按重建耗时往上加一点。要是重建特别慢,还得考虑续期,不然锁提前没了,互斥就变成大家一起冲数据库。

任务调度这块我也踩了坑

多实例之后,定时任务最容易出的问题就是重复执行。我一开始用 crontab 每台机器都跑,结果同一封邮件发了两遍,差点被业务同学追着问。后来改成用 Redis 做分布式锁,任务开始前抢锁,抢到才执行,执行完释放。锁的 key 按任务名和业务日期拼,比如 lock:task:send_mail:2025-04-01,这样当天只会跑一次。

def run_task(task_name, biz_date):
    lock_key = f"lock:task:{task_name}:{biz_date}"
    token = str(uuid.uuid4())
    ok = redis.set(lock_key, token, nx=True, px=10 * 60 * 1000)
    if not ok:
        return

    try:
        do_task(task_name, biz_date)
    finally:
        redis.eval(UNLOCK_LUA, 1, lock_key, token)

另外一些延迟任务我没上 MQ,直接用 Redis 的 ZSET 做了个简单延迟队列。score 存执行时间戳,后台起个循环捞 score <= now 的任务,捞到之后先用 ZREM 抢一下,抢到再执行。这个方案胜在简单,但任务量大了之后要注意分页和空转,别一秒查八遍 Redis。我这边是每次最多捞 100 条,没任务就 sleep 一小会儿,够用了。

最后留下的几个习惯

现在我做缓存相关的东西,基本会顺手检查几件事:空值有没有短缓存,过期时间有没有加随机,热点 key 有没有互斥重建,定时任务有没有分布式锁。Redis 很好用,但它不是数据库,也不是任务队列的万能替代品。缓存穿透和雪崩说起来就那几个套路,真上线之后还是得看监控、看日志、看业务量,不然配置写得再漂亮,也架不住请求全打进来。

评论

还没有评论。

发表评论

提交后评论将经过自动审核,审核通过后公开展示。

未在播放