長文で増えるメモリ：Liquid AI「LFM3」は128K語で1.6GBと発表

全部じゃなくて、語ごとの記録を取っておくんだ。
ふつうのAIは、次の語を作るたびに、それまでに読んだ語を見直すからね。
ここでは、AIが文を区切った1つ分を語と呼ぶよ。

見直しの材料を入れておく場所が、KVキャッシュだよ。
読む語が増えるほど、KVキャッシュも大きくなるんだ。

うん、長い入力でメモリが足りなくなる大きな原因の1つだよ。

AIの中身は、同じ形の部品が何十段も重なってできていて、その1段を層と呼ぶんだ。
Liquid AIによると、LFM3-1.7Bは24層で、全部の語を見直す層は6つだけだよ。
この層を全体を見る層と呼ぶね。

残りは、近くだけを見る層なんだ。
直近256語だけを見る窓付き注意の層と、近くの数語だけを見る層があるよ。

Liquid AIは、賢さを足しても長い入力で遅くならないように、機械で作りを探したと書いているよ。
窓付き注意は、品質と速さのバランスがいちばんよかったんだって。

一般に、直近256語だけを見る層は、それ以前の語を見ないよ。
だから取っておく分も、256語ぶんで足りるんだ。
近くの数語だけを見る層も、取っておくのは近くの分だけだよ。

うん、読んだ量に応じて増えるのは全体を見る層だよ。
ただ、LFM3のKVキャッシュが小さい理由が層の数なのかは、Liquid AIは書いていないんだ。

Liquid AIの発表では、LFM3のKVキャッシュは、128K語を読んだとき1.6GBなんだ。
Kは千を表すから、約13万語ぶんの長さだよ。
ほかのAIのKVキャッシュは、もっと大きいんだ。

Liquid AIの表では、Qwen3.5-4BはLFM3の2倍以上の大きさのAIなんだ。
モデル本体は、数を粗く保存する4bitの形にすると、約1GBのメモリを使うよ。
スマホやノートパソコンに入ると、Hugging Faceのモデルの説明にあるんだ。

ただ、メモリが小さいことと、長い資料を正確に読めることは別なんだ。

RULER 128Kは、Liquid AIの表の「長い文脈」の項目にある試験だよ。
Liquid AIの表では、いちばん大きい数字に太字が付いているよ。
大きいほどいい成績で、LFM3は65.56、Qwen3.5-4Bは84.63なんだ。

MiniCPM5-2Bは37.96で、LFM3より低いよ。
同じ項目のAA-LCRは、LFM3が52.83で、Qwen3.5-4Bが52.67だよ。
LFM3がわずかに上で、差は小さいんだ。

どの数字も、Liquid AIが自分で出した値なんだ。