← すべての記事

カテゴリ

Ai

332 articles

27Bモデルを重みあたり2ビットに圧縮

27Bモデルを重みあたり2ビットに圧縮

Underdog AIがSaluki 27Bを公開。Qwen 3.8 27Bを重みあたり2ビットに圧縮し、ファイルは約7.89GBながら性能の大半を保ち、ツール呼び出しではフルサイズを上回った。

Ai·2026年10月15日·読了目安 13 分
4GB の GPU で 2.8 兆パラメータ:AirLLM はどう VRAM の壁を破ったか

4GB の GPU で 2.8 兆パラメータ:AirLLM はどう VRAM の壁を破ったか

4GB の GPU に 2.8 兆パラメータ。誤植にしか見えない。AirLLM の発想はモデルを小さくすることではなく、一度に全部をメモリへ載せようとするのをやめることだ。層ごとにディスクから読み、使い終えたら手放す。代償は速度、その見返りとして、本来収まらないはずのモデルが動く。

Ai·2026年10月13日·読了目安 12 分