数据清洗

为 DeepSeek RAG 建立可重复测试集，记录问题、证据片段、参考答案、不可回答标记和版本。

用 Trafilatura 从保存的 HTML 提取正文，记录来源网址、原文件哈希和元数据；检查导航残留与关键条件，并区分静态页面和脚本加载内容。

对比 NFC 与 NFKC 的字形和长度变化，实际检查编号碰撞与实体位置错位，保存原文和规范化版本，建立按字段验收边界。

通过原始字节定位 UnicodeDecodeError，区别编码不匹配、UTF-8 BOM 和坏字节，保留输入与诊断记录，避免 ignore 隐藏缺损。

用 OpenCC 纯 Python 实现对比 t2s 与 tw2sp，保存原文和转换配置，验证地区词汇差异、往返不可逆与实体位置风险。

AI 提出的数据质量规则只有转成确定性的断言并用反例试验，才能纳入数据流水线。示例把金额为正、编号非空且唯一三项建议转成代码。

让智能体修改表格时，把修改写成包含编号、旧值和提案值的记录。提交前逐行比对当前值，发生冲突就隔离，避免覆盖别人刚做的修改。

智能体合并两张表时，先声明左右表的预期粒度，再用 pandas merge 的 validate 参数阻止多对多行数膨胀，并单独查看未匹配记录。

数据清洗智能体可以提出操作，但执行端应限制允许动作、先生成预览，再由人工确认。示例用两种白名单操作处理空格和完全重复行，并演示拒绝未知动作。

发现脏数据后，给问题稳定编号，记录原值、修复提案、人工依据和复测结果。下面用一条负金额样例展示问题从发现到关闭的完整记录。