ロシア語で「橋」を意味する社名を持つスタートアップMostikが、複数のAIモデルを人間が読めるテキストを介さずに直接対話させる技術を開発した。同社はこの手法を使って構築したモデルで、難関ベンチマークARC-AGI-3の首位に立ったという。

モデルの「重み」を直接やり取りする仕組み

一般的に複数のAIモデルを組み合わせる際は、あるモデルの出力を別のモデルに入力として渡す方式が使われる。この方法は時間とコストがかかる。Mostikが開発したのは、モデルの重み（プロンプトを出力に変換する要素）に含まれる数学的な値を使って、異なるモデル同士が潜在空間で内部表現を直接交換する仕組みだ。テキストへの変換を経ないため、より高速に情報をやり取りできるという。

MostikのCEOであるサーシャ・マリシェワ氏は、この発想を「多数の人間の推測を集めた方が専門家1人の推測より豚の体重を正確に当てられる」という統計学の逸話になぞらえる。複数の非専門家の判断を集約すると精度が上がるように、複数のAIモデルの出力を組み合わせると単体のモデルより性能が向上することは機械学習の分野でよく知られている。Mostikのチームは、この「アンサンブル」の効果を、モデル間の対話を高速化する独自の数学的手法によって実現した格好だ。

中国製オープンウェイトモデル同士を橋渡し

同社はこの技術のデモとして、2つの中国製オープンウェイトモデルの間に「橋」を構築して見せた。ARC-AGI-3で達成した具体的なスコアや使用したモデルの詳細については、同ベンチマークでの競争を有利に進めたいとして非公表としている。

Mostikは15人の研究者・エンジニア・数学者からなる小規模なチームで、Google X、NVIDIA、Perplexity、FAR.AIといった有力企業出身のメンバーが集まっている。チーフサイエンティストは、2010年のフィールズ賞受賞者でジュネーブ大学教授のスタニスラフ・スミルノフ氏が務める。スミルノフ氏は、2つの異なるAIモデルの間に共通の基盤を見出す作業は想像以上に難しく、「まだ適切な数学的言語が存在しない」と述べている。

モデルの大規模化に代わる方向性か

Mostikのマリシェワ氏は、AIの将来について「単一の巨大モデルに性能が集約される未来にはならないと考えている」と語り、モデルの規模を追求するスケーリング路線とは異なる方向性を志向していると説明する。AIソフトウェア企業LovableでテックリードのVladimir Arustamian氏は、Mostikの手法が実用化されれば「生物学や物理学など特定分野に特化したモデルと、汎用の最先端モデルを組み合わせられるようになり、より多くの専門特化モデルが訓練されるようになるだろう」と評価する。

元Google DeepMindの研究者でMostikの技術に詳しいKarl Tuyls氏も、この手法により「大規模モデル1つにすべての処理を担わせなくても、小型モデルを並走させるだけで大規模モデル並みの品質に近づける」効果があると指摘している。モデルを大きくするだけでなく、複数の異なるモデルを賢く組み合わせる方向性が、今後のAI開発における選択肢の一つとして注目されそうだ。