硬件需求

48 核 CPU 在内存充足、使用合适量化模型和推理框架支持的前提下，可以尝试运行 DeepSeek 70B 这类 70B 参数级模型。但 70B 推理的核心瓶颈通常不是 CPU 核心数，而是内存容量、内存带宽、上下文长度和并发压力。FP16 权重理论上约需 140GB，仅权重就非常庞大；4-bit 量化可显著降低内存需求，但仍要给运行时和 KV Cache 留出空间。48 核 CPU 更适合低并发、本地测试、离线任务和对速度不敏感的场景；如果需要流畅交互、高并发或长上下文服务，通常应考虑 GPU、混合部署或更小模型。