AI教程

混装可以被系统识别不等于适合共同推理；先验证同一驱动和后端能看到全部设备，再从 32B 观察分层与最慢卡瓶颈。 本文给出模型选择、GPU 加载验证和失败降级步骤。

双 A100 先用 70B 验证每张卡的分配，再逐级增加上下文和并发；两张卡都被识别并不代表负载已经合理。 本文给出模型选择、GPU 加载验证和失败降级步骤。

双 4090 先用 32B 做单卡基线，再测试 70B 跨卡；验收要比较 GPU 分配、生成速度和长上下文峰值。 本文给出模型选择、GPU 加载验证和失败降级步骤。

按参数量和量化计算DeepSeek权重下限，再把KV缓存、上下文、并发和卸载比例加入显存与内存预算。

两张 4060 应先用单卡可放下的 7B 建基线，再测试 14B 是否跨卡以及速度是否值得。 本文给出模型选择、GPU 加载验证和失败降级步骤。

两张 12GB 卡可以先稳定运行 14B；测试 32B 时要确认模型是否跨卡分配，并接受 PCIe 传输带来的性能代价。 本文给出模型选择、GPU 加载验证和失败降级步骤。

用运行时、模型格式、算子回退和量化四层检查判断NPU能否运行DeepSeek，并建立可复核验收矩阵。

T2000 先用 1.5B 验证；具体能否上 7B 取决于 4GB/8GB 版本、桌面占用和是否完整 GPU 加载。 本文给出模型选择、GPU 加载验证和失败降级步骤。

在香橙派RK3588的Arm64 Linux上编译llama.cpp，用1.5B量化模型跑基准并区分CPU推理与NPU路径。

在Jetson Orin上启用llama.cpp CUDA后端，通过卸载日志、tegrastats和CPU/GPU对照基准确认加速。