Python

本地调用英文 DistilBART，按模型前缀和窗口核对输入 token 数，再生成摘要并回查主体、数字、日期和否定条件。

使用英文 BERT NER 提取人名、机构和地点，导出 CSV 与字符位置，并检查漏检、分词聚合和领域限制。

用英文 DistilBERT 抽取式问答返回原文片段、分数和起止位置，核对有答案与无答案样本，识别长文和拒答限制。

把智能体拆成模型、工具、状态与权限四个模块，跑通一条可审计且能防越权的 OpenAI API 主路径。

用 OpenAI Embeddings 自建语义检索，生成向量、计算余弦相似度，并通过标注问题验证命中。

用固定脏数据和断言验收 ChatGPT 生成的 Pandas 清洗函数，核对缺失值、类型转换、重复行和数量对账。

用 Python 安装 OpenAI SDK、调用 Responses API，并通过响应 ID 与 output_text 验证第一次回答。

在知识库切分前检测空内容、乱码、规范化后重复文本和异常短文档，并保存可追溯隔离清单。

解释智能体数据集的输入、工具环境和验收规则，并给出 JSONL 样例与逐行结构校验。

用训练实际 tokenizer 统计样本 Token 总量、长度分位数和超限数，并在截断前抽样解码核对。