1930年で止まった言語モデル

ある言語モデルが、不思議な「時間軸」に閉じ込められています。その名を「Talkie」──1931年12月31日以降の出版物を一切学習していない、13Bパラメータの言語モデルです。

このユニークな実験から浮かび上がるのは、AIの知識がいかに学習データに依存しているのか、そして人間の「常識」がいかに時間の積層によって構成されているのかという、奥深い問いです。

タルキーの学習環境

Talkieは、260億トークンの古い文献から学習されました。その学習素材は、1930年12月31日までに出版された以下のテキストに限定されます：

  • 書籍
  • 新聞記事
  • 科学雑誌
  • 特許
  • 判例

ただし、デジタルテキストのOCR（光学文字認識）技術は完璧ではありません。Talkie開発チームは、カスタム仕様のOCRシステムを構築し、古い文献をより正確に学習させるための工夫を重ねています。

2026年への奇妙な予測

Talkieに「2026年の世界」について聞いてみると、異なる時空から届いた声のような回答が返ってきます。

人口予測

Talkieが描くヨーロッパは、10億人の人口を持つ大陸です。実際の2026年のヨーロッパの人口はその程度ですが、Talkieはこの数字を達成する経路を、現実とはまったく異なる形で想像しています。それは、1930年までの人口増加トレンドを機械的に延長した結果なのです。

交通網の想像

Talkieの視点では、2026年の世界は以下のような交通システムで構成されています：

  • 蒸気船がロンドンとニューヨークを10日で結ぶ
  • 鉄道網が大陸を横断する

1930年時点では、これらは確かに最先端の交通技術でした。しかし、航空機、コンテナ船、自動車ネットワークという実際の発展を知らないTalkieは、蒸気動力の改良版を想像するしかありません。

最も興味深い予測：第二次世界大戦の不在

Talkieが示す最も示唆的な予測は、第二次世界大戦に対する楽観的態度です。

Talkieは述べます：「1914年から1918年の狂気は過ぎ去った。ヨーロッパの国家体制は回復し、平和が続くだろう」と。

この発言は痛切です。1930年時点では、まさにこの楽観が世界に満ちていました。経済危機、ナショナリズムの台頭、ファシズムの萌芽といった暗雲が立ち込めていたにもかかわらず、多くの人間がまだ、戦争は過去のものだと信じていたのです。

Talkieは、「ヨーロッパのくすぶる敵意と爆発性の素材」には警告を発しています。つまり、危機の要素は認識しているが、それがいかなる形で爆発するのかは、1930年の知識では予測不可能なのです。

知識の構造と人間の理解

Talkieの存在が明かすのは、AIモデルが「予測する」ことの本質です。モデルは、学習データの傾向を統計的に拡張しているに過ぎません。1930年以降の出来事を知らないTalkieは、当然のことながら、その後の世界の劇的な変化を想像できません。

これは、現代のGPTやClaudeといった大規模言語モデルについても、本質的な問いを投げかけます。我々のモデルが「理解」していると思うことは、実は膨大な学習データの統計的パターンに過ぎないのではないか。そして、モデルが学習データに含まれていない「未来」についてはどうなるのか。

発展予定と研究への期待

開発チームは、今後、GPT-3規模の大規模「ビンテージモデル」のリリースを予定しています。これにより、より詳細な比較研究が可能になります。

Talkieのような「知識カットオフ」モデルを複数作成し、時代ごとの知識を持つモデルの予測傾向を比較すれば、AIモデルの本質的な限界と可能性が、より鮮明に浮かび上がるでしょう。

この実験は、科学的好奇心に基づいた、優雅な研究です。Talkieは、現代のAIが「何を知っているのか」だけではなく、「何を知らないのか」「どのように知識を構成しているのか」を問い直す、貴重な鏡となっているのです。