Nvidia は 8 月 11 日、オープンウェイトの言語モデルNemotron 3.5 Lightningをリリースした。わずか 3.6B の active parameters（総パラメータは 31.6B）で OpenAI の gpt-oss-120b と同等の知能ベンチマークスコアを達成しながら、670 tokens/秒という圧倒的な処理速度を実現する。HuggingFace から即座にダウンロード可能で、DeepInfra や Fireworks など複数のサーバーレス推論プラットフォームですぐに利用できる。

性能の詳細

ベンチマーク

Artificial Analysis Intelligence Index で Nemotron 3.5 Lightning は 24 点を獲得し、OpenAI の gpt-oss-120b と同等の知能水準に到達。Google の Gemini 3.5 Flash-Lite（37 点）や Meta の Muse Glimmer（35 点）には及ばないが、4 倍小さなモデルでこの水準は異例だ。

処理速度

最大の強みは速度。Nemotron 3.5 Lightning は 670 tokens/秒の推論速度を実現し、Gemini 3.5 Flash-Lite（386 tokens/秒）の約 1.7 倍高速だ。モバイルデバイスやエッジ環境での実行を想定した設計になっている。

パラメータと構造

Mamba-Transformer ハイブリッドアーキテクチャを採用し、31.6B 総パラメータのうち任意の時点で 3.6B のみが「active」（動作中）になる仕組み。これが軽量性と高速性を同時に実現する鍵だ。

今日から試す方法

HuggingFace、DeepInfra、Fireworks の各プラットフォームでサーバーレス推論が利用可能。エンジニアやスタートアップは、クレジットカード登録だけで数分以内にモデルを試せる。

小型 LLM の急速な進化

Nemotron 3.5 Lightning のリリースは、小型 LLM 市場の急速な変化を象徴している。Meta の Muse Glimmer、Qwen、DeepSeek など、主要企業が相次いで高性能な軽量モデルをオープン化する中、「大型モデルの高価な API に依存しない選択肢」が現実化している。

開発者が自社環境やエッジデバイスで小型 LLM を実行できれば、レイテンシ削減、プライバシー向上、コスト削減が同時に実現できる。Nvidia のこの施策は、エッジ AI 時代への踏み出しを示唆している。