如何在本地部署deepseek-ag人生就是博

著名人工智能社区 huggingface 的工程师马修·卡里根展示了在本地运行 deepseek-r1 的完整的硬件 软件设置，他使用的是 670b 模型，无蒸馏，q8 量化，实现全质量。

总成本 6,000 美元。

主板：技嘉 mz73-lm0 或 mz73-lm1。

有 2 个 epyc 插槽，以获得 24 个 ddr5 ram 通道。

cpu：2x 任何 amd epyc 9004 或 9005 cpu。

“llm 一代的瓶颈在于内存带宽，因此您不需要高端产品。

如果您真的想降低成本，请购买 9115 甚至 9015。

” ram…。