推測デコード

SPEED-Benchが示す推測デコードの新基準

SPEED-Benchは、推測デコード（モデルが次の語を選ぶ過程）を統一と多様性の両面で評価する新しいベンチマークで、公正な比較と再現性の向上が期待されます。