小Cの已经记不起来的博客

机器学习入门:幂等设计 数据预处理

刚开始学机器学习的时候,我对数据预处理的理解特别朴素:读 CSV、删空值、切训练集验证集、保存,完事。直到有一次调完参数想重跑一遍,发现训练集行数比上次多了两千多,指标还“好看”了一点。查了半天,发现脚本里用了追加写,跑一次就多一份。那一刻我才意识到,数据预处理也得讲幂等。

幂等这个词听起来像后端接口的专属名词,但放在机器学习流程里一样要命。简单说就是:同样的原始数据、同样的配置,跑一次和跑十次,结果应该一致,不能因为多跑了几次就多出副作用。否则你今天训出来的模型,明天连数据都对不上。

预处理为什么容易不幂等

我踩过的坑大概有这么几类。

第一是写入方式。用 mode="a" 追加 CSV,或者往同一个目录里不断写新文件,跑两次数据就翻倍。第二是随机性没控住,train_test_split 不写 random_state,每次划分都不一样,模型指标自然飘。第三是统计量用错了地方,先用全量数据算均值再切训练集,看起来没事,实际上验证集信息已经漏进去了。第四是依赖当前时间或文件顺序,比如用 datetime.now() 当输出目录名,或者去重时依赖行顺序,结果每次都不太一样。

这些问题单独看都不大,凑在一起就会让你怀疑人生:明明代码没改,指标怎么变了?

把读、算、写拆开

我现在的习惯是把预处理拆成三段:原始数据只读,中间结果可重建,最终输出带版本。

目录大概长这样:

data/
  raw/          # 只读,不在这里改任何东西
  processed/
    <config_hash>/
      train.parquet
      valid.parquet
      manifest.json
      _SUCCESS

raw 里的文件我不动,所有清洗和划分都输出到 processed 下面。输出目录名用配置的哈希,配置一样就复用,配置变了就新开一个目录。这样至少不会出现“上次跑到一半覆盖了”的情况。

随机性要写进配置里

划分数据集的时候,别只写 random_state=42 就完事。最好把种子、验证集比例、目标列这些一起塞进配置,然后根据配置算哈希。代码不复杂:

import hashlib
import json

config = {
    "seed": 42,
    "valid_ratio": 0.2,
    "target": "label",
}

config_str = json.dumps(config, sort_keys=True)
config_hash = hashlib.sha256(config_str.encode()).hexdigest()[:12]

这样你看到 processed/8f3a1c2b9d0e/ 这种目录,至少知道它是哪套配置跑出来的。想复现就翻 manifest.json,别靠记忆。

另外,如果是普通表格数据,我更喜欢按样本 ID 做稳定哈希划分,而不是直接随机切。这样同一个样本每次都会落在同一个集合里,新增数据也不会把老样本的划分搅乱:

import hashlib

def stable_bucket(sample_id):
    h = int(hashlib.md5(str(sample_id).encode()).hexdigest(), 16)
    return h % 100

df["bucket"] = df["id"].map(stable_bucket)
valid_mask = df["bucket"] < 20  # 20%

当然,这不是万能的,时间序列该按时间切还是得按时间切,不能为了稳定把顺序信息切没了。

清洗规则要确定,统计量要隔离

去重我一般明确写 subset=["id"],不裸奔用 drop_duplicates()。缺失值填充也一样,均值、中位数、众数这些统计量只能从训练集算,然后保存下来给验证集和测试集用。否则你今天用全量算均值,明天数据多一点,均值变了,预处理结果就跟着变。

写入的时候尽量原子化。别边处理边往最终文件里追加,先写临时文件,成功了再替换:

from pathlib import Path

tmp = out_dir / "train.tmp.parquet"
df.to_parquet(tmp, index=False)
tmp.replace(out_dir / "train.parquet")

最后写一个 _SUCCESS 文件。下次脚本启动先检查这个文件在不在,在就直接复用,不在就重新跑。这就是最朴素的幂等加缓存。

一个最小骨架

把上面这些东西拼起来,大概是这样:

from pathlib import Path
import hashlib
import json
import pandas as pd

RAW = Path("data/raw/train.csv")
OUT_ROOT = Path("data/processed")
CONFIG = {"seed": 42, "valid_ratio": 0.2, "target": "label"}

def stable_bucket(sample_id):
    h = int(hashlib.md5(str(sample_id).encode()).hexdigest(), 16)
    return h % 100

config_str = json.dumps(CONFIG, sort_keys=True)
config_hash = hashlib.sha256(config_str.encode()).hexdigest()[:12]
out_dir = OUT_ROOT / config_hash
success = out_dir / "_SUCCESS"

if success.exists():
    print("已经处理过,直接复用:", out_dir)
else:
    df = pd.read_csv(RAW)
    df = df.drop_duplicates(subset=["id"]).sort_values("id").reset_index(drop=True)
    df["bucket"] = df["id"].map(stable_bucket)
    valid_mask = df["bucket"] < CONFIG["valid_ratio"] * 100

    train = df[~valid_mask].copy()
    valid = df[valid_mask].copy()

    fill_mean = train["x"].mean()
    for part in (train, valid):
        part["x_filled"] = part["x"].fillna(fill_mean)

    out_dir.mkdir(parents=True, exist_ok=True)
    train.to_parquet(out_dir / "train.parquet", index=False)
    valid.to_parquet(out_dir / "valid.parquet", index=False)

    manifest = {
        "config": CONFIG,
        "train_rows": len(train),
        "valid_rows": len(valid),
        "fill_mean": float(fill_mean),
    }
    (out_dir / "manifest.json").write_text(
        json.dumps(manifest, ensure_ascii=False, indent=2)
    )
    success.write_text("ok")

这玩意儿不高级,但够用。至少你重跑的时候不会再多出两千行数据,也不会因为换了个随机种子就找不到上次的验证集。

别把“能跑”当成“可复现”

最后说个检查习惯。预处理脚本写完后,我会连续跑两遍,比较输出文件的哈希;然后删掉 processed 再跑一遍,看看训练指标是不是在同一个量级。如果两次结果差很多,先别急着调模型,八成是预处理里还有随机性或写入副作用。

机器学习入门时,大家容易把注意力全放在模型和调参上,但数据预处理才是后面所有事情的地基。幂等设计不复杂,无非就是输入明确、随机可控、写入原子、结果可复用。早点养成这个习惯,后面能少排查很多莫名其妙的 bug。

评论

还没有评论。

发表评论

提交后评论将经过自动审核,审核通过后公开展示。

未在播放