博客

发现生成式 AI 的技巧、教程与行业见解

4GB 显卡跑 2.8 万亿参数:AirLLM 如何击穿显存高墙

4GB 显卡跑 2.8 万亿参数:AirLLM 如何击穿显存高墙

一张 4GB 显卡,2.8 万亿参数,听起来像是打错字。AirLLM 的思路不是把模型变小,而是不再试图一次把它全部装进内存:逐层从磁盘读取,用完即放。代价是速度,换来的是那些本不该跑得起来的模型真的跑了起来。

Ai·2026年10月13日·预计阅读 9 分钟