Google・Google DeepMind・メリーランド大学・バージニア大学の研究チームは、AIエージェントの探索能力を低コストで改善する新手法「Dream-RSI」を発表した。過去に実行済みの探索履歴を「リプレイシミュレータ」として再利用し、モデルを再評価することなく数千通りの代替戦略を検証できるのが特徴だ。論文はarXivで公開され、コードもGitHubで公開済みとなっている。

探索の「記憶」を夢の中で再生する

従来、コーディングエージェントが探索戦略を改善するには、新しい戦略を実際にオンラインで試し、その都度モデルを呼び出して評価する必要があった。これには膨大な計算コストがかかる。

Dream-RSIはこの制約を回避する。エージェントが実行した探索の履歴を蓄積し、そこから構築した「シミュレータプール」の中で新しい探索ポリシーを仮想的に試す。研究チームはこのプロセスを、過去の記憶を再生しながら新しい判断を検証する行為になぞらえて「夢を見る（dreaming）」と呼んでいる。手法は3段階のループで構成される。オンライン探索で履歴を記録し、その履歴からリプレイシミュレータを構築し、シミュレータ上で改善したポリシーを再びオンライン探索に投入する、というサイクルを繰り返す仕組みだ。

試行回数を大幅に削減

研究チームはアルゴリズムの高速化、数理最適化、GPUカーネル設計という3種類のタスクでDream-RSIを検証した。プログラム高速化タスクでは、実行時間を3,587ミリ秒から2,931ミリ秒に短縮しつつ、必要な試行回数を550回から317回に削減した。比較対象としたSimpleTESという手法が同等の結果を得るのに51,200回の試行を要したのに対し、Dream-RSIはわずか317回で完了している。

GPUカーネル設計タスクでは、同等の性能を最大2.43倍少ない生成回数で達成するか、同じ計算予算であれば最大2.09倍高い性能を引き出せることが確認された。実験にはGoogleのGemini 3.1 ProとGemini 3.7 Flashが用いられており、既存のコーディングエージェントの構造自体は変更せず、軽量なオーケストレーション層を追加するだけで導入できる設計になっている。

開発者が試せる技術として公開

Dream-RSIはGitHubでコードが公開されており、専用のプロジェクトページも用意されている。数学的最適化やGPUカーネル設計といった探索コストの高いタスクに携わる開発者であれば、実際に手元で試すことが可能だ。

AIエージェントの自己改善をめぐっては、AnthropicやSakana AIなども関連する研究を進めており、モデルそのものを再学習せずに探索プロセスを効率化するアプローチは、計算資源の制約が強まる中で注目を集めている分野の一つだ。Dream-RSIは、過去の失敗や成功の記録を「捨てずに再利用する」という発想を軽量な仕組みで実装した点で、実務上のコスト削減に直結する成果といえる。