机器学习入门:幂等设计 数据预处理
刚开始学机器学习的时候,我对数据预处理的理解特别朴素:读 CSV、删空值、切训练集验证集、保存,完事。直到有一次调完参数想重跑一遍,发现训练集行数比上次多了两千多,指标还“好看”了一点。查了半天,发现脚本里用了追加写,跑一次就多一份。那一刻我才意识到,数据预处理也得讲幂等。
幂等这个词听起来像后端接口的专属名词,但放在机器学习流程里一样要命。简单说就是:同样的原始数据、同样的配置,跑一次和跑十次,结果应该一致,不能因为多跑了几次就多出副作用。否则你今天训出来的模型,明天连数据都对不上。
预处理为什么容易不幂等
我踩过的坑大概有这么几类。
第一是写入方式。用 mode="a" 追加 CSV,或者往同一个目录里不断写新文件,跑两次数据就翻倍。第二是随机性没控住,train_test_split 不写 random_state,每次划分都不一样,模型指标自然飘。第三是统计量用错了地方,先用全量数据算均值再切训练集,看起来没事,实际上验证集信息已经漏进去了。第四是依赖当前时间或文件顺序,比如用 datetime.now() 当输出目录名,或者去重时依赖行顺序,结果每次都不太一样。
这些问题单独看都不大,凑在一起就会让你怀疑人生:明明代码没改,指标怎么变了?
把读、算、写拆开
我现在的习惯是把预处理拆成三段:原始数据只读,中间结果可重建,最终输出带版本。
目录大概长这样:
data/
raw/ # 只读,不在这里改任何东西
processed/
<config_hash>/
train.parquet
valid.parquet
manifest.json
_SUCCESS
raw 里的文件我不动,所有清洗和划分都输出到 processed 下面。输出目录名用配置的哈希,配置一样就复用,配置变了就新开一个目录。这样至少不会出现“上次跑到一半覆盖了”的情况。
随机性要写进配置里
划分数据集的时候,别只写 random_state=42 就完事。最好把种子、验证集比例、目标列这些一起塞进配置,然后根据配置算哈希。代码不复杂:
import hashlib
import json
config = {
"seed": 42,
"valid_ratio": 0.2,
"target": "label",
}
config_str = json.dumps(config, sort_keys=True)
config_hash = hashlib.sha256(config_str.encode()).hexdigest()[:12]
这样你看到 processed/8f3a1c2b9d0e/ 这种目录,至少知道它是哪套配置跑出来的。想复现就翻 manifest.json,别靠记忆。
另外,如果是普通表格数据,我更喜欢按样本 ID 做稳定哈希划分,而不是直接随机切。这样同一个样本每次都会落在同一个集合里,新增数据也不会把老样本的划分搅乱:
import hashlib
def stable_bucket(sample_id):
h = int(hashlib.md5(str(sample_id).encode()).hexdigest(), 16)
return h % 100
df["bucket"] = df["id"].map(stable_bucket)
valid_mask = df["bucket"] < 20 # 20%
当然,这不是万能的,时间序列该按时间切还是得按时间切,不能为了稳定把顺序信息切没了。
清洗规则要确定,统计量要隔离
去重我一般明确写 subset=["id"],不裸奔用 drop_duplicates()。缺失值填充也一样,均值、中位数、众数这些统计量只能从训练集算,然后保存下来给验证集和测试集用。否则你今天用全量算均值,明天数据多一点,均值变了,预处理结果就跟着变。
写入的时候尽量原子化。别边处理边往最终文件里追加,先写临时文件,成功了再替换:
from pathlib import Path
tmp = out_dir / "train.tmp.parquet"
df.to_parquet(tmp, index=False)
tmp.replace(out_dir / "train.parquet")
最后写一个 _SUCCESS 文件。下次脚本启动先检查这个文件在不在,在就直接复用,不在就重新跑。这就是最朴素的幂等加缓存。
一个最小骨架
把上面这些东西拼起来,大概是这样:
from pathlib import Path
import hashlib
import json
import pandas as pd
RAW = Path("data/raw/train.csv")
OUT_ROOT = Path("data/processed")
CONFIG = {"seed": 42, "valid_ratio": 0.2, "target": "label"}
def stable_bucket(sample_id):
h = int(hashlib.md5(str(sample_id).encode()).hexdigest(), 16)
return h % 100
config_str = json.dumps(CONFIG, sort_keys=True)
config_hash = hashlib.sha256(config_str.encode()).hexdigest()[:12]
out_dir = OUT_ROOT / config_hash
success = out_dir / "_SUCCESS"
if success.exists():
print("已经处理过,直接复用:", out_dir)
else:
df = pd.read_csv(RAW)
df = df.drop_duplicates(subset=["id"]).sort_values("id").reset_index(drop=True)
df["bucket"] = df["id"].map(stable_bucket)
valid_mask = df["bucket"] < CONFIG["valid_ratio"] * 100
train = df[~valid_mask].copy()
valid = df[valid_mask].copy()
fill_mean = train["x"].mean()
for part in (train, valid):
part["x_filled"] = part["x"].fillna(fill_mean)
out_dir.mkdir(parents=True, exist_ok=True)
train.to_parquet(out_dir / "train.parquet", index=False)
valid.to_parquet(out_dir / "valid.parquet", index=False)
manifest = {
"config": CONFIG,
"train_rows": len(train),
"valid_rows": len(valid),
"fill_mean": float(fill_mean),
}
(out_dir / "manifest.json").write_text(
json.dumps(manifest, ensure_ascii=False, indent=2)
)
success.write_text("ok")
这玩意儿不高级,但够用。至少你重跑的时候不会再多出两千行数据,也不会因为换了个随机种子就找不到上次的验证集。
别把“能跑”当成“可复现”
最后说个检查习惯。预处理脚本写完后,我会连续跑两遍,比较输出文件的哈希;然后删掉 processed 再跑一遍,看看训练指标是不是在同一个量级。如果两次结果差很多,先别急着调模型,八成是预处理里还有随机性或写入副作用。
机器学习入门时,大家容易把注意力全放在模型和调参上,但数据预处理才是后面所有事情的地基。幂等设计不复杂,无非就是输入明确、随机可控、写入原子、结果可复用。早点养成这个习惯,后面能少排查很多莫名其妙的 bug。
评论
还没有评论。
发表评论
提交后评论将经过自动审核,审核通过后公开展示。