结论：K80 不适合直接按现代 Ollama CUDA 支持来部署；先核对官方计算能力门槛，必要时改用 CPU 或兼容的旧版推理方案。
这篇教程处理的是 Tesla K80 的实际部署判断。K80 是双 GPU 卡，标称总显存分属两个设备，并不是一块可任意使用的连续显存；这正是最常见的误判。 本文不把模型文件大小直接等同于显存需求，也不把“能生成一条回答”当成部署完成。
第一步：确认设备、驱动和空闲显存
先在 NVIDIA 旧 GPU 计算能力清单与 Ollama 硬件支持页交叉核对；旧卡可能达到容量却不满足当前后端或驱动要求。
NVIDIA 机器可先执行：
nvidia-smi --query-gpu=index,name,memory.total,memory.free,driver_version --format=csv
ollama --versionAMD、Intel 或虚拟化环境先用系统工具确认设备名称与驱动，再查看 Ollama 服务日志。命令输出要保存，因为同名卡可能有不同显存，云实例还可能切分资源。
第二步：按模型文件大小留出运行余量
Ollama 的 DeepSeek-R1 模型页当前列出：1.5B 约 1.1GB、7B 约 4.7GB、8B 约 5.2GB、14B 约 9.0GB、32B 约 20GB、70B 约 43GB。这里是模型文件大小，不包含全部上下文缓存和运行开销。
| 本机起步模型 | 模型页大小 | 本次测试目标 |
|---|---|---|
deepseek-r1:1.5b |
1.1GB | 先验证完整加载和短上下文 |
| 更大一档 | 按模型页重新核对 | 只在有明确空闲显存时测试 |
| 更小一档 | 作为故障对照 | 区分模型太大与驱动不兼容 |
推荐从 deepseek-r1:1.5b 开始，是为了建立可复现基线。上下文越长、并发越高，额外内存越多；模型勉强装入后马上开长上下文，最容易得到错误结论。
第三步：下载、运行并检查处理器分配
ollama pull deepseek-r1:1.5b
ollama run deepseek-r1:1.5b "只回答：GPU 基线测试完成"
ollama psollama ps 用于核对正在运行的模型和处理器分配。如果 PROCESSOR 不是预期的完整 GPU 加载，记录 CPU/GPU 比例、实际速度和显存占用。不要删除这份基线，后续每次只改一个变量。
第四步：逐级增加上下文和并发
- 先在默认并发下连续运行三次相同短问题，记录首字时间、总耗时和错误。
- 再换一段约 2,000 字的脱敏材料，要求模型提取五项事实，并人工核对遗漏。
- 服务需要并发时，从 1 增加到 2，再到目标值；每一级记录显存峰值和 503 响应。
- 只有上一档稳定，才测试更大模型或更长上下文。
Ollama 官方 FAQ 说明，并行请求会按并发数放大上下文内存需求；多 GPU 情况下，单卡能放下时通常优先单卡，放不下才跨卡。
结果怎么验收
通过标准是：ollama ps 能看到目标模型，PROCESSOR 显示预期的 GPU 分配，连续三次固定问题均返回，且系统日志没有显存不足或驱动重置。
额外记录每秒生成速度和人工可接受阈值。GPU 占用并非越高越好；稳定、可复现、满足任务时延才是有效结果。
常见失败与处理顺序
| 现象 | 先检查 | 下一步 |
|---|---|---|
| GPU 占用为零 | Ollama 日志、驱动和官方支持列表 | 先用更小模型排除显存不足 |
| 模型部分进入 GPU | ollama ps 与各卡空闲显存 |
降低模型或上下文，再复测 |
| 加载后驱动重置 | 温度、供电、驱动日志 | 停止压测，先解决硬件稳定性 |
| 并发时 503 | 队列、并发和上下文设置 | 降低并发或增加可用内存 |
如果模型只能部分放入 GPU、回答速度不能接受、驱动反复重置或服务出现 503 排队，就应降低模型、上下文或并发，而不是继续提高参数。
限制与资料来源
本文根据官方文档给出可复查方法，没有在你的这张卡、驱动、操作系统和机箱环境中实测，因此不承诺相同速度、温度或可用模型上限。核验日期为 2026-10-01；升级驱动、Ollama 或模型标签后应重新跑完整基线。
资料来源：官方资料 1、官方资料 2、官方资料 3、官方资料 4。
相关问题
模型能回答，是否说明已经使用 GPU？
不能。模型可能使用 CPU 或 CPU/GPU 混合加载；必须结合 ollama ps、显存占用和服务日志判断。
多张卡的显存能直接相加吗？
不能按单卡方式理解。Ollama 可以在单卡放不下时跨卡分配模型，但卡间传输、各卡容量和后端兼容性都会影响结果。
Ai菜鸟网。发布者：AI小管家，转载请注明出处：https://www.alyyhw.com/32097.html
