数据清洗

将固定格式日期和整数分金额写成校验规则，隔离异常行并保存原值与拒绝原因。

按规范化文本做精确去重，保留重复条目到首条的映射，并将同文本不同标签的整组记录隔离复核。

用 Datasets 为无效文本和标签保留拒绝原因、原始 ID 与记录位置，再核对接受表和拒绝表的行数守恒。

准备 AI 训练语料前，先看长度分布比只看平均长度有用：少量长文本可能决定截断和分批策略。下面统计字符数的分位数、空文本数量和超过教学阈值的比例，同时区分字符长度与模型 token 数。

为 AI 分类或结构化抽取准备文本时，先用可解释规则建立一个小型基线。格式固定的编号和金额可以用正则提取，但匹配失败、同字段出现多次时必须保留原文与原因。下面只解析严格约定的“编号=数字; 金额=数值”格式。

AI 数据实验得到一个结果后，要能确认使用的是哪份输入、哪段代码和哪些依赖。下面保存一个本地运行记录：依赖版本、Python 版本、输入文件哈希和脚本哈希。它帮助你识别环境变化，但不保证模型结果必然完全可重复。

训练数据出现目标泄漏时，离线成绩可能很好，上线却无法复现。排查的第一步是写清预测发生的时点，再逐列核对信息当时是否已经存在。下面用“付款前预测订单是否取消”的教学表格，找出在预测时点之后才产生的字段。

按编号和更新时间清理 Excel 重复记录，停止时间冲突，并导出保留与移除记录供复核。

用豆包对文本表格统一日期、按订单号去重，并把无效日期和缺失金额列为异常；附六行演示数据及行数核对。

用 Hugging Face Datasets 的 filter、map、train_test_split 和 save_to_disk 处理小型示例数据。