5090D部署

本文解释了在 5090D 上部署 DeepSeek 32B 实测前需要理解的关键指标：显存占用不只来自模型权重，还包括 KV Cache、运行时开销和上下文长度；量化可以降低显存压力，但会影响质量和速度表现；tokens/s、首 token 延迟、吞吐、显存峰值和功耗分别代表不同维度。文章强调不要把“能加载”“能短文本推理”和“能稳定服务”混为一谈，建议在实测前记录硬件、软件、模型、量化格式和推理参数，并按短文本、长输出、长上下文、多轮对话和目标场景逐步测试。