Python

固定 gemini-embedding-001，用文档与查询任务生成 768 维向量，手动归一化后排序，并逐项验证来源、维度和无答案问题。

准备 AI 训练语料前，先看长度分布比只看平均长度有用：少量长文本可能决定截断和分批策略。下面统计字符数的分位数、空文本数量和超过教学阈值的比例，同时区分字符长度与模型 token 数。

用 Milvus Lite 建本地演示集合，核对向量维度、公开范围过滤和来源编号，再把只读检索接口接到智能体。

为 AI 分类或结构化抽取准备文本时，先用可解释规则建立一个小型基线。格式固定的编号和金额可以用正则提取，但匹配失败、同字段出现多次时必须保留原文与原因。下面只解析严格约定的“编号=数字; 金额=数值”格式。

AI 数据实验得到一个结果后，要能确认使用的是哪份输入、哪段代码和哪些依赖。下面保存一个本地运行记录：依赖版本、Python 版本、输入文件哈希和脚本哈希。它帮助你识别环境变化，但不保证模型结果必然完全可重复。

准备把表格交给 AI 做分析时，先在本地做一个专用副本：删掉任务不需要的直接标识列，遮盖联系方式，再检查剩余字段能否组合识别人。下面的 Python 示例展示机械处理和检查方法，不把遮盖后的表格称为已经匿名。

训练数据出现目标泄漏时，离线成绩可能很好，上线却无法复现。排查的第一步是写清预测发生的时点，再逐列核对信息当时是否已经存在。下面用“付款前预测订单是否取消”的教学表格，找出在预测时点之后才产生的字段。

批量拼接同结构 CSV，校验表头并保留来源列，以输入与输出行数核对合并结果。

先约定字符、汉字和英文词的统计规则，再用可手算短句和 Python 核验正文长度。

把定义域和断点写进绘图需求，用 NaN 中断 y=1/x 曲线，并以已知函数值核验图片。