1000万トークンのprefillを22.7倍速く。Latent Sparse Attentionが指す「探す側」の壁

best

UXリサーチャー/AIツール評価
1000万トークンのprefillを22.7倍速く。Latent Sparse Attentionが指す「探す側」の壁

100万トークンの文脈が標準仕様になった2026年、次の壁は「探す」側に立っていた。Prefrontal AIとETHチューリヒのLSA(Latent Sparse Attention)は1000万トークンのprefillでGLM-5.3-Flashの単一注意層を22.7倍、Qwen3.8-27Bを72.4倍に短縮し、精度は主要タスクで基線の95%信頼区間内に留めた。

1000万トークンのprefillを22.7倍速く。Latent Sparse Attentionが指す「探す側」の壁のポイント

なぜ索引器が時間の98%を占めるのか

スパースアテンションの発想は、各queryが全履歴を見ず関連の深い少数のkeyだけを見ることだ。前提は「モデルが本当に必要なkeyはごく一部だ」という検証で、論文の付録が裏付ける。128kトークンのQwen3.8-27Bで、本当に最も関連する512個のkey(全体の約0.8%)だけを見せるとRULERで98%の精度が保てた。

だがここに逆説が隠れる。512個を選ぶには、索引器が全keyに点数を付けねばならない。各社の方式は次元圧縮やkeyの統合で索引器を軽くしてきたが、定数項を割るだけで仕事量は文脈長に比例し、prefillは二次方のままだった。計測では10MトークンのGLM-5.3-Flash単一全局注意層で、prefill時間の98%が索引器に費やされていた。索引をゼロにできればさらに58倍速くなる。

位置でなく意味で束ねる「桶」

LSAの解法は、索引器にkeyを一つずつ見させず「集団」を見させることだ。keyを学習した低次の潜在空間へ投影し、意味の近いものをWard法で「桶」にまとめる。各桶は中心ベクトルと索引表だけを持つ。queryは桶の中心に点数を付け、選ばれた桶を展開してk個のkeyを集める。既存のブロック方式が位置で括るのに対し、LSAは内容で括り、散らばった同一主題のkeyも同じ桶に入る。

さらにTree版は桶を階層木に再編し、queryは頂点から各層で高得点の分岐だけを残す束探索で下る。中心ベクトルはO(log T)個で済み、索引のprefill計算量は二次方からO(T log T)へ落ちる。これが「subquadratic」の由来だ。

二つの導入経路と1000万トークンの成績

10Mトークンでの計測 対象 結果
単一注意層prefillの短縮 GLM-5.3-Flash 22.7倍
単一注意層prefillの短縮 Qwen3.8-27B(全注意) 72.4倍
decodeの短縮 GLM-5.3-Flash / Qwen3.8-27B 4.6倍 / 42.5倍
TTFT(SGLang) GLM-5.3-Flash 約7.5分 → 約3.4分
TTFT(SGLang) Qwen3.8-27B 約76分 → 約8分
索引のVRAM(各層) D-LSA / GLM原生 / ブロック方式 246 / 331 / 642 MiB

精度面ではMMLU-Pro、GPQA-Diamond、LongBench v2のいずれでも基線の95%信頼区間内だった。RULERでは1M以内で全注意との差5点以内、10Mでは63.9対59.9と逆転した。実arXiv論文に架空の研究系譜を埋め込む新ベンチマークPaperTrailでも29.1対19.8と上回った。

導入経路は二つ。既存モデルへの後付けD-LSAは全パラメーターを凍結したまま、層ごとの投影行列2個だけを蒸留で足す。蒸留は3.52億トークンで、予熱だけで21億トークンを使うDSAより小さい。もう一つのN-LSAは事前訓練から原生でLSAを使い、次トークン予測損失だけで訓練する。約5億パラメーターの混合モデルの検証損失1.085は全注意と一致し、同予算のPISAは1.100だった。

よくある質問

Q. 既存のモデルにLSAを足すには再訓練が必要か。
D-LSAなら不要だ。蒸留は3.52億トークンで済み、主成分方向を使う完全無訓練版も精度が近い。

Q. 加速比は文脈が短い場合にも伸びるのか。
伸びにくい。512kでは2.1倍、1Mで3.5倍と、文脈が長いほど加速比が拡大する。

Q. 精度の劣化はどの程度か。
知識・推論・長文タスクで基線の95%信頼区間内に収まり、10MのRULERでは逆に全注意を上回った。

編集部の見解

「少なく見る」競争が一段落し、「見るべきものをどう探すか」が次の主戦場になった。数日単位のエージェント作業では、TTFTが8分か3.4分かは生産性に直結する。D-LSAが凍結モデルへの後付けで済む点は試す敷居が低い。Tree版の1億トークンでの外推値(基線比90倍超)は予測値だが、索引器の計算量を監視指標に入れる時代は近い。

my-best.ai 編集部

出典:36Kr「千万トークン規模でDeepSeek式スパース注意より22倍速い」(寄稿:Synced、2026年11月17日)

あわせて読みたい

本日の36Kr AI版の記事を日本語で整理したものです。最新記事の一覧から他のニュースも読めます。



メールマガジン

最新のAI情報をメールで受け取る

新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。

ご登録後、確認メールをお送りします。配信停止はいつでも可能です。

週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo