バッチサイズ

LLM推論の非決定性、真犯人はバッチ？

同じ入力でLLMの出力が変わる原因は、単なる確率的選択だけでなくバッチサイズの変動に伴う計算順序の違いにあります。KVキャッシュや固定分割の工夫で安定性を高める道が開けています。