タグ一覧に戻る

言語モデル

記事数: 9
ByteDance開発の拡散言語モデル「iLLaDA」がQwen2.5と同等レベルを実現——自己回帰型との性能競争始まる

ByteDance開発の拡散言語モデル「iLLaDA」がQwen2.5と同等レベルを実現——自己回帰型との性能競争始まる

人民大学とByteDanceの研究者が開発した拡散型言語モデル「iLLaDA」がQwen2.5 7Bと同等のベンチマーク性能を達成。12兆トークンで一から学習した新モデルが、従来の自己回帰型との競争の可能性を示唆します。

続きを読む
大規模モデルが稀なスキルを習得できる理由:研究が解明したメカニズム

大規模モデルが稀なスキルを習得できる理由:研究が解明したメカニズム

言語モデルのサイズと学習効率の関係について、研究者たちが新たなメカニズムを発見。モデルを大きくするだけでなく、訓練データの構成を工夫することで、小規模モデルでも稀なスキルを習得できる可能性が示唆されました。

続きを読む
Cohere、最高性能の言語モデル Command A+ をオープンソース公開——218 億パラメータ、48言語対応

Cohere、最高性能の言語モデル Command A+ をオープンソース公開——218 億パラメータ、48言語対応

カナダの AI 企業 Cohere が、同社最強の言語モデル Command A+ を Apache 2.0 ライセンスでオープンソース化。218 億パラメータの Mixture of Experts モデル、マルチモーダル対応、128K トークン のコンテキスト、Hugging Face で即座に利用可能。開発者に新たな選択肢。

続きを読む

Tencent の 440MB 超軽量 AI 翻訳モデル、33言語に対応――スマートフォンでオフライン翻訳、Google Translate を上回る精度

Tencent が極度に圧縮された AI 翻訳モデル「Hy-MT1.5-1.25bit」をオープンウェイト公開。3.3GB から 440MB に圧縮し、33言語をサポート。スマートフォンで完全オフライン実行でき、商用サービスと同等の翻訳精度を実現。

続きを読む
「タルキー」の異なる未来像――1930年までの知識で学習したLLMが予測する2026年

「タルキー」の異なる未来像――1930年までの知識で学習したLLMが予測する2026年

13Bパラメータの言語モデル『Talkie』は、1931年以降の出版物を一切学習せずに学習されたユニークなLLM。蒸気船とロボット技術の将来像、そして第二次世界大戦の不可視性を描く、時間軸を逆行する知識構造の実験から見えるもの。

続きを読む