模型推理
-
AI 推理引擎如何分配算子?理解 ONNX Runtime 的执行提供程序
解释 ONNX Runtime 如何按 EP 能力与优先级分配节点,区分可用列表、会话注册和实际节点记录,并用 CPU profiling 演示核对。
-
Transformers 怎么离线加载 AI 模型?核对本地目录并完成一次推理
提前取得模型和依赖,用 HF_HUB_OFFLINE 与 local_files_only 在新进程加载 Transformers 本地目录,完成 CPU 前向并核对形状、有限值与失败条件。
-
英文文字怎么在本地生成语音?用 MMS-TTS 导出 WAV 并核对
使用英文 MMS-TTS 在本地生成波形并导出 WAV,回读采样率与样本,试听完整句子,并核对语言和非商业许可限制。
-
中文缺字怎么补全?用 BERT 掩码模型核对候选字
用中文 BERT 掩码模型为单个缺字位置生成候选,核对词表ID、得分与补全句,明确单token和事实修订的限制。
-
固定标签分类和零样本分类有什么区别?用 BART-MNLI 测试新标签
比较固定标签与 NLI 零样本分类,使用 BART-MNLI 传入候选标签,核对单标签、多标签分数和标签变更的影响。
-
中文怎么离线翻译成英文?下载 OPUS-MT 并核对逐句译文
保存中文到英文 OPUS-MT 模型与分词器,用 UTF-8 模式从本地逐句翻译,断网复跑并核对日期、术语和否定关系。
-
英文新闻怎么在本地生成摘要?用 DistilBART 控制长度并核对事实
本地调用英文 DistilBART,按模型前缀和窗口核对输入 token 数,再生成摘要并回查主体、数字、日期和否定条件。
-
英文人名和机构怎么提取?用 BERT NER 导出实体与字符位置
使用英文 BERT NER 提取人名、机构和地点,导出 CSV 与字符位置,并检查漏检、分词聚合和领域限制。
-
英文抽取式问答怎么做?用 DistilBERT 返回答案并核对原文位置
用英文 DistilBERT 抽取式问答返回原文片段、分数和起止位置,核对有答案与无答案样本,识别长文和拒答限制。
-
PyTorch inference_mode 和 no_grad 怎么选?检查梯度与推理张量
比较 PyTorch no_grad 和 inference_mode 的梯度与张量边界,用可运行示例检查推理特征能否接入可训练层,以及 eval 的独立作用。