大規模モデルが稀なスキルを習得できる理由：研究が解明したメカニズム
言語モデルのサイズと学習効率の関係について、研究者たちが新たなメカニズムを発見。モデルを大きくするだけでなく、訓練データの構成を工夫することで、小規模モデルでも稀なスキルを習得できる可能性が示唆されました。
続きを読む
タグ一覧に戻る
モデル効率化
記事数: 2 件
Baidu Ernie 5.1、訓練コスト94%削減——同等性能でパラメータ1/3
Baidu が Ernie 5.1 を発表。前世代の 1/3 のパラメータで同等の性能を実現し、訓練コストはわずか 6%（94%削減）。「Once-For-All」フレームワークで単一の訓練実行から効率的な複数モデルを抽出。Search Arena 4 位にランク。
続きを読む