NextAI

言語モデルの研究に新しい知見が生まれました。大規模モデルが小規模モデルよりも習得できるスキルが多い理由について、研究チームがメカニズムを解明しています。モデルのニューロン容量に限りがあるため、小規模モデルは頻度の高いタスクを学習するたびに稀なスキルを忘れてしまいますが、大規模モデルはその容量に余裕があるため両方を習得できるのです。注目されるのは、この研究が「モデルを大きくする必要はない」という示唆をもたらしたこと。訓練データの構成を工夫して稀なスキルの出現頻度を意図的に増やすことで、小規模モデルでもこれらのスキルを習得させられる可能性があります。スケーリング至上主義から一歩退却し、データ構成の最適化が電力消費削減への道を開くかもしれません。