GGUF
-
DeepSeek-R1-Distill-Qwen-7B 怎么量化？转换 GGUF、生成 Q4_K_M 并校验模型
把DeepSeek-R1-Distill-Qwen-7B从BF16转换为GGUF并量化成Q4_K_M，再用固定业务样本比较质量和性能。
-
DeepSeek GGUF 怎么用？不装 Ollama，直接用 llama.cpp 启动命令行和本地 API
不经过Ollama，直接用llama.cpp加载DeepSeek GGUF，验证命令行、健康检查、模型列表和聊天API。
