数据处理

智能体把两份数据关联后，总行数突然增加，先检查关联键是否重复。给AI的要求应包括一对一还是多对一，不能只说“按ID合并”。

把 AI 应用日志交给模型分析前，可以先用一个受控解析器统一格式。解析失败的行不能静默丢掉，否则错误发生处可能恰好从分析材料里消失。

AI 提议加索引后，先检查查询结果有没有变化，再查看数据库是否实际选择了索引。查询计划显示搜索路径，不等同于测出了运行时间提升。

用腾讯元宝识别演示表格图片，按文字、结构和含义三层核对，并处理模糊文字与复杂图表。

按表格操作、惰性查询与 SQL 汇总需求比较 pandas、Polars、DuckDB，用同一 AI 样本 CSV 核对筛选、缺失分组和汇总口径。

以 AI 样本复核元数据为例，用固定 SQLite 写入工具处理增量版本，验证重跑不增行、迟到旧版不覆盖新版，以及失败批次回滚。

工业 AI 融合不同采样流时，按设备和真正可用时间连接历史读数，再检查观测新鲜度，保留未匹配与被拒绝的原因。

按明确来源时区解析 AI 日志时间，用 pandas 保存异常原值、赋予时区并转为 UTC，同时保持请求 ID 与事件含义。

按演示二分类协议逐行检查训练 JSONL 的字段、非空字符串、整数标签、重复键和编号，将错误原因与原始行号一并保存。

训练 CSV 错列时用 DictReader 核对明确列协议，处理 UTF-8 BOM、字段内逗号、双引号和换行，并保留样本 ID 的前导零。