Meta Superintelligence Labsは9月1日、リアルタイム音声認識モデル「Muse Voice Transcribe」を発表した。同ラボ初のリアルタイム音声認識モデルで、ストリーミングでの音声認識・話者分離・発話区切り検出を1つのモデルに統合している。開発者向けにはMeta Model API、一般ユーザー向けにはMac版Meta AIのディクテーション機能を通じてすでに利用可能だ。

3つの処理を1モデルに統合

従来、リアルタイムの音声処理では音声認識・話者識別・発話の切れ目検出をそれぞれ別のモデルで行うのが一般的だった。Muse Voice Transcribeはこの3つを単一モデルにまとめ、80ミリ秒単位の音声チャンクを処理しながら文字起こしを進める設計を採用している。

20人以上の話者を1つの録音内で識別でき、1時間を超える音声も後処理なしで扱える。70以上の言語で訓練され、うち25言語は精度検証済み。会話の途中で言語が切り替わる「コードスイッチング」にも対応する。

応答時間0.16秒、業界最安級の価格

性能面では、ストリーミング時の単語誤り率が3.1%、発話終了から文字起こし完了までの応答時間は0.16秒とされる。強化学習を用いた適応的な遅延制御により、速度と精度のバランスを調整しているという。話者分離の誤り率は、AMI-IHM・AMI-SDM・VoxConverseの3つの評価セット平均で17.5%。Artificial Analysisのベンチマークでは、ストリーミング音声認識と話者分離の両部門で首位を記録した。

価格は1000分あたり3ドル、時間換算で約18セントとなる。THE DECODERの報道によれば、これは競合の音声認識サービスと比べて低価格な水準だという。

開発者向けには2つのエンドポイントを提供

開発者はMeta Model APIを通じてリアルタイムのストリーミング用エンドポイント（WebSocket接続）と、既存の録音ファイルを一括処理するエンドポイントの両方を利用できる。動作モードは、ユーザーが発話区間を指定する「PUSH_TO_TALK」、モデルが自動で区間を検出する「ENDPOINTING」、複数話者を自動識別する「DIARIZATION」の3種類が用意されている。

常時音声を聞き続けるAIアシスタントの基盤に

THE DECODERは、MetaがMuse Voice Transcribeを、カメラ付きスマートグラスのようなデバイスを通じて実際の会話を常時聞き取るパーソナルAIエージェントの基盤技術と位置づけていると報じている。低遅延かつ低価格でのストリーミング音声処理は、会議の議事録作成や音声操作型のエージェントなど、常時稼働を前提とするアプリケーションの実用性を左右する要素だ。開発者にとっては、複数モデルを組み合わせていた音声パイプラインを1つのAPIに置き換えられる点が、実装コストの削減につながる。