模型部署

按再训练、本机应用联调、ORT 交付和直接聊天四种情境，选择 PyTorch、ONNX Runtime 与 FastAPI 的组合，核对格式、后端和接口责任。

用 FastAPI lifespan 加载教学 ONNX 模型，仅监听本机 HTTP；实际验证正常分数、六类输入拒绝、输出溢出和缺模型启动失败。

用 hf cache 指定独立缓存目录查看模型版本和占用，先 dry-run 预览再定向清理，回读确认结果；解释共享文件、local_dir 与离线保留边界。

按 Hugging Face 报错区分账号身份、Token 读取范围、模型访问申请和目标文件；用当前 CLI 核对身份，并通过强制远端下载检查恢复情况。

使用 Hugging Face 官方下载工具固定模型提交，保存到指定目录，并检查六个演示文件、大小和 SHA-256；说明分片、许可与运行验证边界。

采购边缘AI视频分析一体机时，用视频路数条件、端到端延迟、模型回滚和断网补传脚本进行验收。

用运行时、模型格式、算子回退和量化四层检查判断NPU能否运行DeepSeek，并建立可复核验收矩阵。

在受支持的 Linux GPU 环境安装 vLLM，启动 DeepSeek-R1-Distill-Qwen-7B，通过模型列表与聊天请求验证 OpenAI 兼容 API。

在 Windows 11 安装 Ollama，运行 DeepSeek-R1 7B，并用 PowerShell 请求本地 Generate API，逐步核对模型、响应与常见失败。

用固定模型、精度、输入、Batch 与运行环境建立 AI 芯片推理基线，先验证正确性，再记录延迟、吞吐量、内存和重复测试结果。