本地部署
-
两张 RTX 4060 怎么部署 DeepSeek?先测单卡 7B,再观察跨卡 14B
两张 4060 应先用单卡可放下的 7B 建基线,再测试 14B 是否跨卡以及速度是否值得。 本文给出模型选择、GPU 加载验证和失败降级步骤。
-
DeepSeek 本地部署怎么估算显存和内存?按参数量、量化与上下文计算预算
按参数量和量化计算DeepSeek权重下限,再把KV缓存、上下文、并发和卸载比例加入显存与内存预算。
-
两张 12GB 显卡能跑 DeepSeek 吗?理解分层加载再测试 32B
两张 12GB 卡可以先稳定运行 14B;测试 32B 时要确认模型是否跨卡分配,并接受 PCIe 传输带来的性能代价。 本文给出模型选择、GPU 加载验证和失败降级步骤。
-
Quadro T2000 能运行 DeepSeek 吗?小显存从 1.5B 与 GPU 日志验证
T2000 先用 1.5B 验证;具体能否上 7B 取决于 4GB/8GB 版本、桌面占用和是否完整 GPU 加载。 本文给出模型选择、GPU 加载验证和失败降级步骤。
-
Tesla M60 跑 DeepSeek 怎么选模型?双 GPU 分开看显存与负载
M60 包含多个 GPU,先逐卡核对空闲显存;用 7B 验证单卡加载后,再观察是否有必要跨卡。 本文给出模型选择、GPU 加载验证和失败降级步骤。
-
树莓派 5 怎么部署 DeepSeek?用 llama.cpp 运行 1.5B 模型并验证本地 API
在树莓派5上编译llama.cpp,运行DeepSeek 1.5B量化模型,并用命令行和本地API验证结果与故障边界。
-
Tesla M10 32GB 跑 DeepSeek:总显存不是单卡显存,先拆分核对
M10 的总显存分布在多个 GPU 上,不能把 32GB 当成一块连续显存;先逐个设备查看容量,再从 7B 验证。 本文给出模型选择、GPU 加载验证和失败降级步骤。
-
Tesla K40 跑 DeepSeek 可行吗?检查旧 GPU 计算能力与 CPU 备选
K40 的架构过旧,当前 Ollama GPU 后端未必支持;不要反复换模型碰运气,先核对计算能力和日志。 本文给出模型选择、GPU 加载验证和失败降级步骤。
-
Tesla K80 能跑 DeepSeek 吗?先核对计算能力,避免把双 GPU 显存相加
K80 不适合直接按现代 Ollama CUDA 支持来部署;先核对官方计算能力门槛,必要时改用 CPU 或兼容的旧版推理方案。 本文给出模型选择、GPU 加载验证和失败降级步骤。
-
Tesla M40 24GB 跑 DeepSeek:确认旧 CUDA 支持后测试 14B 和 32B
M40 24GB 可从 14B 开始;测试 32B 前先确认旧卡驱动仍被当前 Ollama 支持,并预留上下文显存。 本文给出模型选择、GPU 加载验证和失败降级步骤。