非営利研究団体LAIONが、動画AI研究向けの大規模オープンデータセット「Big Video Dataset（BVD）」を公開した。8000万本・総時間1000万時間の動画から抽出した5500万クリップに、自動生成の動画・音声キャプションを付与しており、研究目的に限り無償で利用できる。動画・音声・画像を横断するマルチモーダル学習向けのデータとしては、これまでで最大級の規模になる。

CommonCrawlから13億件の候補を抽出

LAIONとテュービンゲンAIセンターの研究チームは、Web全体をクロールしたアーカイブ「CommonCrawl」から13億件の動画URLを特定し、そのうち8000万本を実際にダウンロードした。大部分はYouTube由来で、言語は英語が中心となっている。コンテンツ認識型のシーン検出によって動画を5500万クリップに分割し、各クリップに合成生成した動画・音声の説明文を付与したほか、画像テキスト事前学習用に3億枚の静止画像も抽出した。研究チームは8月25日、データセットの詳細をまとめた論文をarXivに投稿している。

既存データセットをベンチマークで上回る

性能検証では、動画とテキストを対応づけるモデル「ViCLIP」をBVDで学習させたところ、従来この分野で最大級とされてきたデータセット「InternVid」を最大2.1ポイント上回る結果が出た。音声理解モデル「CLAP」でも大規模な非キュレーションデータセットに匹敵する性能を確認しており、画像テキスト検索でも実用的な精度を示したという。

著作権面では、LAIONは2024年のハンブルク地方裁判所の判断を根拠に、非商用の研究目的であれば著作権のあるコンテンツを収集・提供できるとの立場を取っている。ただしBVD自体も研究用途限定の配布であり、商用利用は認めていない。

動画AI開発の裾野を広げる意味

動画生成・動画理解モデルの開発では、良質な学習データの確保がOpenAIやGoogleなど大手企業に偏りがちだった。BVDのような大規模データセットが無償公開されることで、資金力に劣る大学や独立系の研究チームでも、動画AIモデルの学習・評価に着手しやすくなる。LAIONはこれまでも画像分野で「LAION-5B」など著名なオープンデータセットを公開しており、今回の動画版もオープンソースコミュニティにおける動画AI研究の基盤として位置づけられそうだ。