显存与量化

本文解释了在 5090D 上部署 DeepSeek 32B 实测前需要理解的关键指标：显存占用不只来自模型权重，还包括 KV Cache、运行时开销和上下文长度；量化可以降低显存压力，但会影响质量和速度表现；tokens/s、首 token 延迟、吞吐、显存峰值和功耗分别代表不同维度。文章强调不要把“能加载”“能短文本推理”和“能稳定服务”混为一谈，建议在实测前记录硬件、软件、模型、量化格式和推理参数，并按短文本、长输出、长上下文、多轮对话和目标场景逐步测试。

470 显卡能否跑 DeepSeek 取决于具体型号、显存容量、模型大小、量化方式和推理后端。常见 RX 470 可以尝试小参数、低比特量化模型，但不适合大型 DeepSeek 模型；更老的 GTX 470 通常更不推荐。部署前应确认显存、驱动、系统、推理工具支持情况，并通过小模型、短上下文逐步测试。