AIを動かす裏側も公開。DeepInferとは？

Points

おさえるところ

• 公式READMEには「This open-source release provides offline inference with the core features needed for serving at scale.」とある。今回の公開版は、開発者向けのオフライン推論を提供する。一般向けのチャットアプリを新しく配った、という発表ではない
• オフライン推論は、用意した入力を、実行環境でモデルに処理させる使い方。インターネット接続が最初から一切不要、という意味ではない。標準の実行例は、初回にモデルのデータをHugging Faceから取得する構成
• KVキャッシュのシステムや、複数の処理先に仕事を振り分ける仕組みなど、完全な推論サービスにするための機能は、今回の公開に含まれない。公開の価値と、導入に必要な仕事を一緒に見る
• DeepInferが担うのは、計算の部品を選び、複数の機器に仕事を分け、処理を進める「動かすための段取り」に近い部分。実行を効率化しただけで、知識が増えたり、答えの正しさが保証されたりするわけではない
• READMEには、FlashMLA、DeepGEMM、DeepEPなどの部品が示されている。先の候補を用意して検証するDSparkや、JSONなど指定した形で答えを出す機能もある。形が正しいことと、中身が正しいことは別
• 対応機器は、公式記載でNVIDIA SM100 GPUとHuawei Ascend 950 NPU。公式の前提はLinux、GCC 13.0以上、Python 3.12で、NVIDIAではCUDA 13、AscendではCANN 9.2を指定している。Windowsの普段の作業環境へ、そのままインストールできるという案内ではない
• コードはApache-2.0ライセンスで公開されている。ただし「運用まで全部無料」という意味ではない。機器、電力、クラウドの利用料、導入と保守の作業には費用がかかり得る。DeepSeekのチャットやAPIの料金とも別
• READMEの性能図は、入力を読む処理でSM100を4基、出力を生成する処理で64基使った測定と説明されている。自宅のGPU1枚で出る速さとして読むことはできない。「毎秒320トークン」を「毎秒320文字」と置き換えることもできない
• 標準のモデルはDeepSeek-V4.1-Flash-1017。公式対応モデルはDeepSeek-V4.1-Flashで、標準の実行例は1017版を取得する。日本語の回答品質は対象モデルと設定にも関わり、書いた人は実測していない
• 調べる順番は、READMEで公開範囲と対応機器を読む、仕組みを読むか実行して検証するかを決める、実行するなら入力・出力・機器・設定・費用を同じ条件で記録する、の3つ。実機の構築や費用が発生する操作は大人や担当者が管理する想定