ある記事は、同じQwen2.5-1.5B-Instructのモデルファイルに同一のトークンIDを与え、常に最上位候補を選ぶ生成を行っても、Apple M1のMacBookとNVIDIA Jetson Orin Nano Superで文章の回答が変わったと主張している。
報告されたGSM8Kの数学問題250問では、生成文が38問で異なり、最終回答は18問で異なったという。
fp16同士では全体スコアの差は小さかったとされる。
何か、おかしい。NEW0前回訪問以降
わずかな演算差が次のトークンを変えるという
記事は、このずれをハードウェアやソフトウェアのカーネルごとの、ごく小さいが決定的な浮動小数点演算の差に帰している。
次に出すトークンの候補がほぼ同点なら、わずかな差で順序が入れ替わり、その後の解答の流れが分かれるという説明だ。
Jetsonのint8設定ではさらに多くの回答が変わったとの主張もあるが、重みの精度と実行環境の両方を変えており、記事自身も大きなスコア低下の要因は切り分けられていないとしている。
対象は1モデル、1組の端末、固定されたベンチマークの一部に限られる。
確認状態
UNVERIFIED
Hacker Newsの投稿情報は記事を見つける手がかりであり、リンク先の主張を検証したものではありません。
この出典付き報告は独立した検証を受けていません。
