DeepSeekが自社の推論基盤DeepInferをApache 2.0で公開しました。公式のオンライン統計によれば、このシステムは1クラスタあたり1日155兆トークンを処理し、平均入力は1リクエスト77Kトークン、最初のトークンまで400ミリ秒、生成は毎秒230トークン。入力の96%はキャッシュで再計算を回避し、カード1時間あたりの収入は平均38ドルです。
なぜ推論エンジンまで公開するのか
これまでDeepSeekはモデル本体、高性能演算子を書くためのTileLang、複数の演算子ライブラリを順に開いてきました。今回で、1リクエストが入口から答えまで辿る経路の「省算力の工夫」が、どこを押さえているのかまで公開範囲に入ります。宣言のタイトルは「真に普遍的な未来へ」でした。
| 指標（公式のオンライン統計） | 数値 |
|---|---|
| クラスタの1日処理量 | 155兆トークン |
| 平均入力長 | 77Kトークン／リクエスト |
| 初トークンまでの時間 | 平均400ミリ秒 |
| 生成速度 | 230トークン／秒（コード生成時は300） |
| 入力のキャッシュ命中率 | 96% |
| カード1時間あたり収入 | 平均38ドル |
1リクエストを2系統に分ける
処理はPrefillとDecodeに分かれます。Prefillはプロンプトや履歴を一気に読んでKVキャッシュを作る工程で、算力勝負。Decodeは1トークンずつ生成する工程で、VRAMからの読み出しが支配的です。性質が逆なので、DeepSeekは両者を別のマシン群に分けました。Prefillは8カード構成の通常機、Decodeは64〜128カードのスーパーノードです。画像入力は独立した符号化サービスへ先回りします。公式の推奨では、効率を出す最小構成はPrefill64カード＋Decode64カード、両者の比率は現場ではほぼ1対1でした。
キャッシュ命中率96%の作り方
Agentがツールを呼ぶたび、システムプロンプトから過去の応答まで全体を送り直します。大半は前ターンに計算済みで、前置きが1トークンでも変わらなければ再利用できません。DeepSeekは計算済みのKVキャッシュを3FSストレージクラスタ（容量約100PiB、全SSD）に退避し、次ターンは増分だけ計算します。同一カードのPrefill処理は、命中なしで毎秒6万トークン、命中込みで毎秒150万トークン。25倍の差です。
保存期間はAgent流量3日、チャット流量7日。チャットを3日に短縮すると命中率が0.5〜1%落ちる経験則が理由です。キャッシュを独立したストレージクラスタに置くため、どのPrefill機からでも参照でき、利用者を前回のマシンに縛りません。
V4.1 Flashの一部層は128トークンのスライディングウィンドウ注意（SWA）を採り、再計算コストを文脈長に関係ない定数にしています。同方式を別の20層にも広げ、Prefillの総計算量はほぼ半減しました。
384の専門家を64枚に載せる
V4.1 FlashはMoE構成で、ルーティング専門家だけでも384あります。Decodeではこれを64カードに分け、1枚あたり6人＋繁忙専門家の複製1つ。オフライン試験では64カード1組でカード1秒あたり最大2.6万トークンを出せます。副本の配分は1000歩ごとに負荷を集計し、10000歩ごとに組み直す。線上実測で最も忙しいカードは平均より9%高いだけでした。
生成段階では自前のDSparkが、採択確率の低い候補の検証を先に潰し、固定5候補方式より吞吐が6%向上。CPUが次ステップの投入を整える間もGPUを止めない重ね合わせで、Decodeの1カード1秒は1.4万トークンに達します。
よくある質問
Q. DeepInferは何が公開されたのですか。
A. リクエストの前処理から生成までを担う自社推論フレームワークで、Apache 2.0で公開されました。あわせてAPI形式を統一変換するdeepseek-recipeがMITで出ています。
Q. 自社環境でそのまま同じ性能が出ますか。
A. 出ません。公開版は現在オフライン推論で、KVキャッシュ管理と負荷分散は社内インフラと結びついたまま未公開です。設計の考え方は技術長文と配備QAに書かれています。
Q. どのハードウェアに対応しますか。
A. NVIDIAのSM100 GPUと華為昇騰950 NPUが対応リストに入っています。
編集部の見解
モデルの公開だけなら「誰でも使える」に過ぎません。今回開かれたのは、毎日155兆トークンをさばく現場の割り切り方です。PrefillとDecodeを分け、キャッシュをストレージクラスタへ退避させ、専門家を分散させる。どれも特別な新技術ではなく、組み合わせの設計です。
日本の事業者にとって効くのは、96%という命中率が出るまでの条件づけです。プロンプトの前置きを固定する、履歴の順序を安定させる、テンプレートを統一する。推論コストの削減は、モデル選定の前に入力の形を設計する工程で決まります。
my-best.ai 編集部
出典：36Kr「速報：DeepSeek、中核推論エンジンをオープンソース化」（寄稿：新智元、2026年10月20日）
あわせて読みたい
- 詐欺電話をAIで「逆に騙す」──35万体の偽人格が溶かした17年分の時間
- MacBookにタッチスクリーン、iPad miniに高リフレッシュ──10月29日のApple発表で変わるもの
- CPU 1175%、温度112℃──Macの重さの正体をClaude Codeが暴いた話
本日の36Kr AI版の記事を日本語で整理したものです。最新記事の一覧から他のニュースも読めます。
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。