本地部署

MI50 是否可用先看当前操作系统与 ROCm 支持矩阵；通过后再按实际显存从 14B 开始验证。 本文给出模型选择、GPU 加载验证和失败降级步骤。

L20 先用 32B 建立稳定基线，再按目标上下文和并发检查显存余量；不要直接把 70B 作为默认起点。 本文给出模型选择、GPU 加载验证和失败降级步骤。

RTX 5090 适合先用 32B 建立基线；70B 模型文件约 43GB，单卡能否完整加载要以实际显存与 ollama ps 为准。 本文给出模型选择、GPU 加载验证和失败降级步骤。

RTX 4060 先用 7B；若是不同显存的 4060 系列型号，必须按实际容量重新判断，不能套用同一个模型上限。 本文给出模型选择、GPU 加载验证和失败降级步骤。

RTX 3090 先把 14B 跑稳；32B 的 20GB 模型文件可能装入，但长上下文和桌面占用会压缩余量。 本文给出模型选择、GPU 加载验证和失败降级步骤。

RTX 3080 有不同显存版本，先用 7B 确认完整 GPU 加载；12GB 版本可再测试 14B，10GB 版本要更保守。 本文给出模型选择、GPU 加载验证和失败降级步骤。

H200 运行 70B 时应把重点放在上下文长度、并发和队列，而不是仅验证模型能启动。 本文给出模型选择、GPU 加载验证和失败降级步骤。

H100 可从 70B 档位开始，但验收要包含完整 GPU 加载、目标上下文和真实并发，而不是只看首条回答。 本文给出模型选择、GPU 加载验证和失败降级步骤。

L40S 适合用 32B 建立服务基线；测试 70B 时要缩短上下文、关闭并发并确认不是 CPU 分层加载。 本文给出模型选择、GPU 加载验证和失败降级步骤。

L40 上先让 32B 在目标上下文和并发下稳定运行，再把 70B 作为边界测试。 本文给出模型选择、GPU 加载验证和失败降级步骤。