显存不够傲腾凑！纯CPU跑2.8万亿参数Kimi K3：差点把主板烧了

快科技11月9日消息，近日一位Reddit网友成功在纯CPU环境下，跑通了月之暗面拥有2.8万亿参数的顶级模型Kimi K3。

令人意想不到的是，支撑这一庞然大物运行的关键并非动辄数万元的顶级显卡，而是早已被英特尔放弃的第二代傲腾持久内存（Optane PMem 200）。

要知道Kimi K3作为万亿级参数的巨型模型，其运行门槛极高，即便经过极度压缩的量化处理，也至少需要610GB的内存空间。

在当前内存价格持续走高的背景下，通过传统DDR4/DDR5内存堆砌出如此容量的代价极其昂贵。但如果选择使用二手傲腾持久内存作为替代对策，其成本仅为同容量普通内存的几分之一。

在具体的硬件部署上，该玩家使用了一颗40关键的第三代英特尔至强可扩展处理器。关键组件是第二代傲腾持久内存200系列，该产品于2020年随第三代至强发布，单条容量可选128GB至512GB。

在App Direct模式下，傲腾内存被直接映射为独立的持久化内存区域，让软件能更精准地控制模型张量的存放位置。

不过傲腾虽然性能强，发热量也相当夸张。这种持久内存满载时功耗很高，这位玩家郑重提醒：主动散热是硬性要求，不能省。

测试里他直接上了两台12W大功率涡轮风扇对着内存位猛吹。他表示，如果缺少这套强散热，傲腾释放的高温足以烤坏旁边的普通内存，严重时还会把主板插槽直接烤熔。

在实际的推理表现方面，这套架构的表现只能用慢如老牛来形容。在1位（1-bit）量化下，推理速度仅为0.85 Token/秒，而当精度增强至3位量化时，速度进一步下降到0.75 Token/秒。

这意味着生成一段5万Token的任务可能需要耗时13小时以上。这种速度对于实时对话毫无意义，但对于不追求时效性的深夜离线批处理任务，却是一种极具性价比的对策。

【本文结束】如需转载请务必注明出处：快科技

“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）

新浪科技为你带来最新鲜的科技资讯

苹果汇为你带来最新鲜的苹果产品新闻

新酷产品第一时间免费试玩

带来最新的科学家新闻，精彩的震撼图片