スコアと実用性の乖離

Alibaba が Qwen3.8 Max をリリースしました。数字だけ見ると「Claude Opus 4.8 と同等」に見えますが、詳細を検証すると、バージョン間で重大な性能低下が判明しています。

ベンチマークスコア

Artificial Analysis Intelligence Index:

  • Qwen3.8 Max: 56 点 ← 新バージョン
  • Claude Opus 4.8: 56 点（同等）
  • Kimi K3: 57 点（最高）
  • Qwen3.7 Max: 46 点 ← 前バージョン比 +10 点向上に見える

ただし、より詳細なベンチマークでは異なる傾向が見えます。

業務タスク評価（GDPval-AA）

  • Claude Opus 5: 1,852 Elo 点（リード）
  • Qwen3.8 Max: 1,739 点
  • Kimi K3: 1,685 点

Qwen3.7 Max 比で +468 点の改善は示されていますが、これは「異なるベンチマーク間での比較」の課題を浮き彫りにします。

重大な性能低下：幻覚率の悪化

最も懸念される変化が 「幻覚率の上昇」 です。

  • Qwen3.7 Max: 幻覚率 23%
  • Qwen3.8 Max: 幻覚率 40%

40% の幻覚率は、5 問に 2 問が誤情報を生成する という意味。これは実用上の大きなリスクです。

知識精度の低下

AA-Omniscience（知識問題の正確性）も 10 点低下。つまり Qwen3.8 Max は「答えを知らないことを認める代わりに、より頻繁に推測する傾向」を示しており、信頼性が後退しています。

コスト効率の悪化

価格面でも課題があります。

トークン単価:

  • 入力: $2.00 / 百万トークン
  • 出力: $6.00 / 百万トークン

「単一タスク当たりコスト」で比較すると：

  • Qwen3.8 Max: $1.14 / タスク ← 新
  • Qwen3.7 Max: $0.53 / タスク
  • Kimi K3: $0.86 / タスク ← 25% 安い上に信頼性が高い

Qwen3.8 Max は前バージョンの 2 倍以上のコスト で、性能は劣化。

市場での位置づけ

この結果から、汎用 AI モデル選定の観点では：

  • 性能重視: Claude Opus 5（1,852 Elo 点、信頼性高い）
  • コスト重視 + 信頼性: Kimi K3（57 点、$0.86/タスク）
  • Qwen3.8 Max: コスト高・信頼性低い選択肢

Alibaba が「Qwen をどの企業向けに売るのか」という戦略が不明確に見えます。日本語対応や中国国内需要は別ですが、グローバル市場では Kimi K3 や Claude Opus 5 の方が選定理由が明確です。

バージョン間の性能退行はレアケースです。一般ユーザーは「新バージョン = より良い」と想定しがちですが、特に幻覚率 40% という数字は、アプリケーション開発者の導入判断に大きく影響するでしょう。