机器学习入门:缓存一致性 数据预处理
看到这个标题你大概会愣一下,缓存一致性和数据预处理,这两玩意儿是怎么凑一块的?说实话我一开始也这么想。直到上周被自己的缓存坑了两天,才发现这俩在工程上根本分不开。
起因
我在做一个文本分类的小项目,几万条数据,预处理流程是这样的:清洗 HTML、去脏字符、分词、按 max_length 截断、再把样本塞进一个 prompt 模板。跑一遍十几分钟,风扇起飞,笔记本烫手。
人嘛,总想偷懒。于是我加了个缓存,哈希一下样本 id 存成 json,下次直接读。第一次跑完,第二次秒开,爽。
然后模型效果就掉了。
缓存一致性在这里指什么
别被这个词吓到,CPU 那边讲缓存一致性是说多个核心看到的内存是同一份,我这里借用一下,意思是:你缓存里的东西,必须和“当前这份代码 + 当前这组参数 + 当前这批数据”算出来的结果一致。
不一致会怎样?程序不会报错,不会崩,它只是安安静静地把旧结果喂给模型。指标看着还行,其实是拿旧数据在自欺欺人。这种静默错误最要命,你根本不知道自己错在哪。
第一版:拿样本 id 当 key
我一开始就是这么干的,写起来最简单:
import json
from pathlib import Path
CACHE = Path("cache")
CACHE.mkdir(exist_ok=True)
def cached_preprocess(item):
key = item["id"] # 这里埋雷了
f = CACHE / f"{key}.json"
if f.exists():
return json.loads(f.read_text())
out = preprocess(item["text"])
f.write_text(json.dumps(out, ensure_ascii=False))
return out
看起来没毛病对吧?问题是后来我做了三件事:
- 把
max_length从 128 改成了 256 - 模板里多加了一句 system prompt
- 顺手 upgrade 了一下
tokenizers
缓存一个都没失效。因为它只认 item["id"],它哪知道你代码改了。
稍微靠谱一点的版本
思路很朴素:把一切会影响输出的东西,全塞进 key 里。
import inspect, hashlib, json, platform
from functools import lru_cache
import tokenizers, transformers
def _hash(s: str) -> str:
return hashlib.blake2b(s.encode(), digest_size=16).hexdigest()
@lru_cache(maxsize=1)
def pipeline_fingerprint() -> str:
parts = [
inspect.getsource(preprocess), # 预处理函数本身
json.dumps(PARAMS, sort_keys=True, ensure_ascii=False), # 所有参数
tokenizers.__version__,
transformers.__version__,
platform.python_version(),
]
return _hash("|".join(parts))
def cache_key(item) -> str:
raw = "|".join([
pipeline_fingerprint(),
item["id"],
_hash(item["text"]), # 原始内容也进 key,防止数据集被替换
])
return _hash(raw)
inspect.getsource 这个做法有点糙,生产上我更推荐手写一个 PIPELINE_VERSION = "v3",改预处理就手动 +1,可控得多。但入门阶段为了防自己手滑,先粗暴一点完全没问题——宁可多失效几次,也别静默命中旧结果。
存储和清理
缓存目录是会爆炸的,几万条数据几个 json,配上反复迭代,很快就是几十万个小文件,文件系统会哭。
我的做法是按 fingerprint 分目录,改一次预处理就换一个目录,老的整个删掉,简单粗暴:
cache/
v3f2a9c1.../
shard-0000.jsonl
shard-0001.jsonl
按 hash(key) % 16 分 16 个分片写成 jsonl,别一条一个文件。这个改动做完,ls 都顺畅了。
还有两个坑
一个是多进程写同一个 key。我一开始是先写目标文件再关,跑多 worker 的时候偶尔读到半截 json,直接 JSONDecodeError。改成先写 .tmp 再 os.replace,原子替换,问题就没了。
另一个是数据集划分没进 fingerprint。我第一次训练的时候缓存的是 train,后来重新划了 split,缓存还是旧的,结果 train 里混进了上次的 val。这个错我犯了,排查了一个下午才想明白,挺尴尬的。
小结
就这些。预处理慢可以忍,缓存错了不行。key 设计得“过于严格”一点都不亏——多算几次顶多费点时间,算错了你要花两天找原因,还不一定找得到。
入门阶段最容易犯的错,就是觉得“缓存只是加速的手段,不影响结果”。它确实只是加速手段,前提是它得一致。
评论
还没有评论。
发表评论
提交后评论将经过自动审核,审核通过后公开展示。