27 億パラメータを 3.9GB に圧縮――iPhone で推論が現実に

PrismML が開発した Bonsai 27B は、スマートフォンでも動作する本格的な AI モデルだ。その実現を支えるのは、1～2 ビットへの極度の量子化技術。従来なら「品質と効率は相反するトレードオフ」と見なされていた領域で、新しい解法をもたらしている。

Bonsai 27B は Alibaba の Qwen3.6-27B をベースとしながらも、独自の圧縮手法で以下のストレージ要件を実現している：

環境サイズ性能維持率
iPhone 向け（小型版）3.9GB90%
MacBook 向け（高性能版）5.9～8.49GB95%

iPhone 17 Pro Max での実測では、フル充電時に 約 67,000 トークン の生成が可能。秒間約 11 トークン生成の速度で、応答時間は許容範囲内だ。

クラウド依存からの解放――プライバシーと経済性が同時に手に入る

ローカル推論がもたらす最大のメリットは 2 つ。

**第一に、プライバシーの完全な保護。**スクリーンショット、ドキュメント、メールといった個人データがデバイス内に留まる。クラウドへの送信を前提とするサービスとは根本的に異なる。医療、法律、金融といった機密性が高い分野での活用において、この特性は決定的だ。

**第二に、API 呼び出しの削減による経済性。**トークンあたりのコスト（クラウド API 利用料）がゼロになれば、大量の推論を低コストで実行できる。企業システムで日に数百万トークン処理するアプリケーションでは、月々の API 費用を劇的に削減できる。

「簡単なタスクはデバイス上で、複雑な処理はクラウドで」――ハイブリッド構成の可能性

Bonsai 27B は単独で動作するだけでなく、ハイブリッド構成を可能にする。オンデバイスで処理できるタスク（テキスト分類、簡単な要約）はスマートフォンで、より複雑な処理（マルチモーダル推論、長文対話）はクラウド側の強力なモデルで実行する。こうした柔軟な分担により、応答速度とコスト、精度のバランスが取れた実装が実現する。

Apache 2.0 ライセンスで開発者に開放――実用化への足がかり

Bonsai 27B は Apache 2.0 ライセンス で提供され、オープンソースとして誰でも利用・改変できる。PrismML は既に Apple を含む複数の企業と協力してテストを進めており、実用化が現実的な段階に入っている。

数学やコーディングのベンチマークでは元モデルとの性能低下がほぼ無く、画像理解でのみ顕著な低下が見られるため、テキスト中心のアプリケーション、特に開発者向けツールでの活躍が期待される。

オンデバイス AI の実装は、これまで「実験段階」に留まっていた。Bonsai 27B のような圧縮技術の成熟により、その状況は確実に変わろうとしている。