性能优化手记:分布式锁 排查全过程
先交代背景
前段时间一个跑批服务开始抽风,白天还好,一到凌晨任务密集的时候就出问题。表现也不复杂:接口 P99 从 800ms 慢慢涨到 5s,后面干脆一堆超时,任务堆积,告警群里开始刷屏。
这个服务本身不复杂,核心逻辑就是定时任务抢锁、执行、写库。锁用的是 Redis + Redisson,按理说这套东西已经很成熟了,所以一开始我压根没往锁上想。人嘛,总是先怀疑别人,先怀疑数据库,先怀疑网络,最后才怀疑自己写的代码。
第一反应:是不是数据库又背锅了
先看数据库监控,慢查询确实有,但不多,而且集中在那几个固定的批量更新 SQL 上。连接池活跃连接数倒是挺高,一度接近上限,看起来像是数据库被打满了。
于是我先做了两件事:
-- 看当前正在执行的慢 SQL
SHOW FULL PROCESSLIST;
另外把连接池的监控指标拉出来看了一圈。结果发现一个挺有意思的现象:连接池高的时候,并不是 SQL 执行慢,而是很多线程拿着连接在等。等什么?看线程栈最直接。
arthas thread -n 20
这一看,心里大概有数了。大量线程卡在:
java.lang.Thread.State: WAITING
at org.redisson.RedissonLock.lockInterruptibly(RedissonLock.java:xxx)
好家伙,不是数据库慢,是大家都在排队抢锁。
盯上那把锁
业务代码大概长这样,简化一下:
RLock lock = redissonClient.getLock("job:sync:" + taskId);
boolean locked = lock.tryLock(0, 30, TimeUnit.SECONDS);
if (!locked) {
return;
}
try {
doSync(taskId);
} finally {
if (lock.isHeldByCurrentThread()) {
lock.unlock();
}
}
这段代码乍看没啥问题,拿不到锁就直接返回,也不阻塞。但日志里出现了不少 tryLock 失败的记录,而且失败之后上游会重试,重试又继续失败,最后整个调度线程池被占住。
再往下查,发现 doSync 这个任务并不是每次都 30 秒内能跑完。数据量大的时候,跑个一两分钟很正常。问题就来了:锁的租约时间是 30 秒,任务却可能跑 60 秒以上。
那锁是不是提前释放了?
Redis 看着挺正常
先别急着下结论,看看 Redis 本身有没有问题。查慢日志:
redis-cli slowlog get 20
没有特别离谱的命令。再看延迟和连接数,也都在正常范围。说明 Redis 没挂,网络也没明显抖动。
那就看锁的 TTL。加了一段临时日志,在任务执行过程中打印锁的剩余时间:
log.info("lock ttl={}, thread={}", lock.remainTimeToLive(), Thread.currentThread().getName());
结果很稳定:任务还没跑完,TTL 已经变成 -1 或者 -2 了。也就是说,锁已经没了。
这里就涉及到 Redisson 的一个经典坑:如果你在 tryLock 里显式传了 leaseTime,Redisson 就不会启用 watchdog 自动续期。它只会在你指定的 30 秒后把锁释放掉,不管你任务有没有跑完。
而如果直接用:
lock.lock();
或者:
lock.tryLock(0, TimeUnit.SECONDS);
不传 leaseTime,Redisson 才会默认加 30 秒锁,并且后台 watchdog 每 10 秒续一次。
我们这段代码偏偏写死了 30 秒,等于告诉 Redisson:“不用续了,30 秒后直接放。”任务一长,锁就提前失效,另一个线程立刻拿到锁开始重复执行。重复执行又会加大数据库压力,任务跑得更慢,锁失效得更频繁,最后就是恶性循环。
改法
根因确认后,改起来反而不复杂。第一版先把显式 leaseTime 去掉,交给 watchdog:
RLock lock = redissonClient.getLock("job:sync:" + taskId);
boolean locked = lock.tryLock(0, TimeUnit.SECONDS);
if (!locked) {
log.warn("lock busy, taskId={}", taskId);
return;
}
try {
doSync(taskId);
} finally {
if (lock.isHeldByCurrentThread()) {
lock.unlock();
}
}
但这里也别高兴太早,watchdog 不是万能的。如果 JVM 本身卡住了,比如长时间 Full GC,续期线程也可能被拖住。所以第二版又补了两件事:
一是把任务拆小,别让单次锁持有时间太长。原来一次性同步 10 万条,现在按 5000 条一批,批次之间释放锁,让其他任务有机会进来。
二是给锁等待加上限,别再出现一堆线程堵在门口的情况:
boolean locked = lock.tryLock(3, TimeUnit.SECONDS);
拿不到就快速失败,交给调度层稍后重试,别把线程池耗死。
顺手加的几个监控
这次排查完,我顺手补了几个指标,不然下次还得靠猜:
- 锁获取失败次数,按任务维度打点;
- 锁持有时间,超过 30 秒就 warn;
- 任务重复执行检测,用业务唯一键兜底;
- Redisson watchdog 相关日志级别调成可观测。
尤其是锁持有时间,真的很重要。以前只看到任务成功失败,根本不知道一把锁被拿了多久。现在至少能在监控上看到哪类任务最容易超时。
最后
这次问题说白了不复杂,就是 tryLock 的 leaseTime 写死了,导致 Redisson 不续期,长任务跑到一半锁没了,重复执行把系统拖垮。但排查过程还是挺典型的:先怀疑数据库,再看线程栈,最后才回到那把锁上。
分布式锁这东西,用起来简单,坑也是真不少。尤其是看到 tryLock(0, 30, TimeUnit.SECONDS) 这种代码,最好多问一句:这 30 秒到底够不够?如果不够,锁提前释放之后,业务能不能接受重复执行?如果答案是不能,那就别省那点 watchDog 的续期逻辑,老老实实让锁活到任务结束,或者把任务拆到锁的租约时间内。不然性能问题查到最后,往往不是 Redis 慢,也不是数据库慢,而是锁根本没锁住。
评论
还没有评论。
发表评论
提交后评论将经过自动审核,审核通过后公开展示。