数据处理

先在本地读取指定 UTF-8 文本并检查行号预览，再向 DeepSeek 提供经确认的内容。

将固定格式日期和整数分金额写成校验规则，隔离异常行并保存原值与拒绝原因。

用 batched map 将文本拆成多行，同步复制来源与标签，移除旧列并排查 ArrowInvalid 列长不一致。

保存 DatasetDict，在新进程从磁盘恢复训练与验证划分，核对行数、样本和 ClassLabel 结构及离线前提。

按规范化文本做精确去重，保留重复条目到首条的映射，并将同文本不同标签的整组记录隔离复核。

在 Chroma 中用稳定来源和片段 ID 同步完整文档：upsert 新版文本与向量，删除消失的旧片段，并用精确读取验收版本和记录数。

用 Datasets 为无效文本和标签保留拒绝原因、原始 ID 与记录位置，再核对接受表和拒绝表的行数守恒。

从 Label Studio 原始 JSON 提取单标签人工结果，保留来源编号，输出训练 CSV 和取消、多份标注等异常报告。

准备带来源编号的 CSV 文本任务，正确处理逗号、双引号和换行，用脚本核对三条样本后导入 Label Studio。

批量拼接同结构 CSV，校验表头并保留来源列，以输入与输出行数核对合并结果。