小Cの已经记不起来的博客

机器学习入门:缓存一致性 数据预处理

看到这个标题你大概会愣一下,缓存一致性和数据预处理,这两玩意儿是怎么凑一块的?说实话我一开始也这么想。直到上周被自己的缓存坑了两天,才发现这俩在工程上根本分不开。

起因

我在做一个文本分类的小项目,几万条数据,预处理流程是这样的:清洗 HTML、去脏字符、分词、按 max_length 截断、再把样本塞进一个 prompt 模板。跑一遍十几分钟,风扇起飞,笔记本烫手。

人嘛,总想偷懒。于是我加了个缓存,哈希一下样本 id 存成 json,下次直接读。第一次跑完,第二次秒开,爽。

然后模型效果就掉了。

缓存一致性在这里指什么

别被这个词吓到,CPU 那边讲缓存一致性是说多个核心看到的内存是同一份,我这里借用一下,意思是:你缓存里的东西,必须和“当前这份代码 + 当前这组参数 + 当前这批数据”算出来的结果一致。

不一致会怎样?程序不会报错,不会崩,它只是安安静静地把旧结果喂给模型。指标看着还行,其实是拿旧数据在自欺欺人。这种静默错误最要命,你根本不知道自己错在哪。

第一版:拿样本 id 当 key

我一开始就是这么干的,写起来最简单:

import json
from pathlib import Path

CACHE = Path("cache")
CACHE.mkdir(exist_ok=True)

def cached_preprocess(item):
    key = item["id"]          # 这里埋雷了
    f = CACHE / f"{key}.json"
    if f.exists():
        return json.loads(f.read_text())
    out = preprocess(item["text"])
    f.write_text(json.dumps(out, ensure_ascii=False))
    return out

看起来没毛病对吧?问题是后来我做了三件事:

缓存一个都没失效。因为它只认 item["id"],它哪知道你代码改了。

稍微靠谱一点的版本

思路很朴素:把一切会影响输出的东西,全塞进 key 里。

import inspect, hashlib, json, platform
from functools import lru_cache
import tokenizers, transformers

def _hash(s: str) -> str:
    return hashlib.blake2b(s.encode(), digest_size=16).hexdigest()

@lru_cache(maxsize=1)
def pipeline_fingerprint() -> str:
    parts = [
        inspect.getsource(preprocess),                      # 预处理函数本身
        json.dumps(PARAMS, sort_keys=True, ensure_ascii=False),  # 所有参数
        tokenizers.__version__,
        transformers.__version__,
        platform.python_version(),
    ]
    return _hash("|".join(parts))

def cache_key(item) -> str:
    raw = "|".join([
        pipeline_fingerprint(),
        item["id"],
        _hash(item["text"]),   # 原始内容也进 key,防止数据集被替换
    ])
    return _hash(raw)

inspect.getsource 这个做法有点糙,生产上我更推荐手写一个 PIPELINE_VERSION = "v3",改预处理就手动 +1,可控得多。但入门阶段为了防自己手滑,先粗暴一点完全没问题——宁可多失效几次,也别静默命中旧结果。

存储和清理

缓存目录是会爆炸的,几万条数据几个 json,配上反复迭代,很快就是几十万个小文件,文件系统会哭。

我的做法是按 fingerprint 分目录,改一次预处理就换一个目录,老的整个删掉,简单粗暴:

cache/
  v3f2a9c1.../
    shard-0000.jsonl
    shard-0001.jsonl

按 hash(key) % 16 分 16 个分片写成 jsonl,别一条一个文件。这个改动做完,ls 都顺畅了。

还有两个坑

一个是多进程写同一个 key。我一开始是先写目标文件再关,跑多 worker 的时候偶尔读到半截 json,直接 JSONDecodeError。改成先写 .tmp 再 os.replace,原子替换,问题就没了。

另一个是数据集划分没进 fingerprint。我第一次训练的时候缓存的是 train,后来重新划了 split,缓存还是旧的,结果 train 里混进了上次的 val。这个错我犯了,排查了一个下午才想明白,挺尴尬的。

小结

就这些。预处理慢可以忍,缓存错了不行。key 设计得“过于严格”一点都不亏——多算几次顶多费点时间,算错了你要花两天找原因,还不一定找得到。

入门阶段最容易犯的错,就是觉得“缓存只是加速的手段,不影响结果”。它确实只是加速手段,前提是它得一致。

评论

还没有评论。

发表评论

提交后评论将经过自动审核,审核通过后公开展示。

未在播放