本地部署

L4 建议先用 14B 验证，再根据空闲显存和上下文需求决定是否测试 32B。 本文给出模型选择、GPU 加载验证和失败降级步骤。

单张 A6000 先验证 32B；70B 模型文件约 43GB，虽接近常见显存容量，仍需给上下文和运行开销留余量。 本文给出模型选择、GPU 加载验证和失败降级步骤。

A100 40GB 适合先把 32B 跑稳；70B 模型文件约 43GB，单卡 40GB 不能按文件名直接判定可完整装入。 本文给出模型选择、GPU 加载验证和失败降级步骤。

A10 上先用 14B 建立稳定基线；32B 是否能完整加载，要由 ollama ps 和实际上下文压力测试确认。 本文给出模型选择、GPU 加载验证和失败降级步骤。

16GB V100 建议先验证 14B，32GB 版本再测试 32B；两者不能用同一结论。 本文给出模型选择、GPU 加载验证和失败降级步骤。

T4 可先测试 14B；是否合适要看模型能否完整进入显存、上下文设置和并发数，而不是只看模型参数量。 本文给出模型选择、GPU 加载验证和失败降级步骤。

P100 有不同显存版本，先读取实际显存；12GB 或 16GB 机器可从 14B 测起，失败时退回 7B。 本文给出模型选择、GPU 加载验证和失败降级步骤。

P40 更适合先从 14B 档位验证；32B 的模型文件虽为 20GB，仍要给上下文缓存和运行开销留空间。 本文给出模型选择、GPU 加载验证和失败降级步骤。

可以尝试，但先确认驱动能被 Ollama 识别，并把目标放在 7B 或更小模型。 本文给出模型选择、GPU 加载验证和失败降级步骤。

在 Ollama 本地 Chat API 中传入 JSON Schema，提取工单类型和编号，并分别检查生成完成、字段结构与原文事实。