小Cの已经记不起来的博客

性能优化手记:分布式锁 排查全过程

先交代背景

前段时间一个跑批服务开始抽风,白天还好,一到凌晨任务密集的时候就出问题。表现也不复杂:接口 P99 从 800ms 慢慢涨到 5s,后面干脆一堆超时,任务堆积,告警群里开始刷屏。

这个服务本身不复杂,核心逻辑就是定时任务抢锁、执行、写库。锁用的是 Redis + Redisson,按理说这套东西已经很成熟了,所以一开始我压根没往锁上想。人嘛,总是先怀疑别人,先怀疑数据库,先怀疑网络,最后才怀疑自己写的代码。

第一反应:是不是数据库又背锅了

先看数据库监控,慢查询确实有,但不多,而且集中在那几个固定的批量更新 SQL 上。连接池活跃连接数倒是挺高,一度接近上限,看起来像是数据库被打满了。

于是我先做了两件事:

-- 看当前正在执行的慢 SQL
SHOW FULL PROCESSLIST;

另外把连接池的监控指标拉出来看了一圈。结果发现一个挺有意思的现象:连接池高的时候,并不是 SQL 执行慢,而是很多线程拿着连接在等。等什么?看线程栈最直接。

arthas thread -n 20

这一看,心里大概有数了。大量线程卡在:

java.lang.Thread.State: WAITING
at org.redisson.RedissonLock.lockInterruptibly(RedissonLock.java:xxx)

好家伙,不是数据库慢,是大家都在排队抢锁。

盯上那把锁

业务代码大概长这样,简化一下:

RLock lock = redissonClient.getLock("job:sync:" + taskId);
boolean locked = lock.tryLock(0, 30, TimeUnit.SECONDS);
if (!locked) {
    return;
}
try {
    doSync(taskId);
} finally {
    if (lock.isHeldByCurrentThread()) {
        lock.unlock();
    }
}

这段代码乍看没啥问题,拿不到锁就直接返回,也不阻塞。但日志里出现了不少 tryLock 失败的记录,而且失败之后上游会重试,重试又继续失败,最后整个调度线程池被占住。

再往下查,发现 doSync 这个任务并不是每次都 30 秒内能跑完。数据量大的时候,跑个一两分钟很正常。问题就来了:锁的租约时间是 30 秒,任务却可能跑 60 秒以上。

那锁是不是提前释放了?

Redis 看着挺正常

先别急着下结论,看看 Redis 本身有没有问题。查慢日志:

redis-cli slowlog get 20

没有特别离谱的命令。再看延迟和连接数,也都在正常范围。说明 Redis 没挂,网络也没明显抖动。

那就看锁的 TTL。加了一段临时日志,在任务执行过程中打印锁的剩余时间:

log.info("lock ttl={}, thread={}", lock.remainTimeToLive(), Thread.currentThread().getName());

结果很稳定:任务还没跑完,TTL 已经变成 -1 或者 -2 了。也就是说,锁已经没了。

这里就涉及到 Redisson 的一个经典坑:如果你在 tryLock 里显式传了 leaseTime,Redisson 就不会启用 watchdog 自动续期。它只会在你指定的 30 秒后把锁释放掉,不管你任务有没有跑完。

而如果直接用:

lock.lock();

或者:

lock.tryLock(0, TimeUnit.SECONDS);

不传 leaseTime,Redisson 才会默认加 30 秒锁,并且后台 watchdog 每 10 秒续一次。

我们这段代码偏偏写死了 30 秒,等于告诉 Redisson:“不用续了,30 秒后直接放。”任务一长,锁就提前失效,另一个线程立刻拿到锁开始重复执行。重复执行又会加大数据库压力,任务跑得更慢,锁失效得更频繁,最后就是恶性循环。

改法

根因确认后,改起来反而不复杂。第一版先把显式 leaseTime 去掉,交给 watchdog:

RLock lock = redissonClient.getLock("job:sync:" + taskId);
boolean locked = lock.tryLock(0, TimeUnit.SECONDS);
if (!locked) {
    log.warn("lock busy, taskId={}", taskId);
    return;
}
try {
    doSync(taskId);
} finally {
    if (lock.isHeldByCurrentThread()) {
        lock.unlock();
    }
}

但这里也别高兴太早,watchdog 不是万能的。如果 JVM 本身卡住了,比如长时间 Full GC,续期线程也可能被拖住。所以第二版又补了两件事:

一是把任务拆小,别让单次锁持有时间太长。原来一次性同步 10 万条,现在按 5000 条一批,批次之间释放锁,让其他任务有机会进来。

二是给锁等待加上限,别再出现一堆线程堵在门口的情况:

boolean locked = lock.tryLock(3, TimeUnit.SECONDS);

拿不到就快速失败,交给调度层稍后重试,别把线程池耗死。

顺手加的几个监控

这次排查完,我顺手补了几个指标,不然下次还得靠猜:

尤其是锁持有时间,真的很重要。以前只看到任务成功失败,根本不知道一把锁被拿了多久。现在至少能在监控上看到哪类任务最容易超时。

最后

这次问题说白了不复杂,就是 tryLock 的 leaseTime 写死了,导致 Redisson 不续期,长任务跑到一半锁没了,重复执行把系统拖垮。但排查过程还是挺典型的:先怀疑数据库,再看线程栈,最后才回到那把锁上。

分布式锁这东西,用起来简单,坑也是真不少。尤其是看到 tryLock(0, 30, TimeUnit.SECONDS) 这种代码,最好多问一句:这 30 秒到底够不够?如果不够,锁提前释放之后,业务能不能接受重复执行?如果答案是不能,那就别省那点 watchDog 的续期逻辑,老老实实让锁活到任务结束,或者把任务拆到锁的租约时间内。不然性能问题查到最后,往往不是 Redis 慢,也不是数据库慢,而是锁根本没锁住。

评论

还没有评论。

发表评论

提交后评论将经过自动审核,审核通过后公开展示。

未在播放