オープンAIモデルと最先端有料モデルの差、4.4カ月に縮小

性能差とタスク当たり費用を比較

記事で紹介されたMozillaの最新「State of Open Source AI」評価によると、Moonshot AIのKimi K3はArtificial Analysis Intelligence IndexでAnthropicのFable 5に3点差まで迫り、費用は後者の30％だったという。
また、中立的なソフトウェア層であるハーネスを用いたTerminal-Bench 2.1評価では、Z.aiのGLM 5.2がAnthropicのClaude Opus 4.7および4.8に1点差以内で、完了タスク当たりの費用は約5分の1だったとされる。
クローズド最先端モデルの優位は、人間の専門家ならおよそ8〜12時間かかる作業に集中しているという。

クローズドの最先端モデルは、特に長時間で難度の高い作業において、主要なオープンウェイトモデルに対する性能上の優位を保っていた。

Mozillaの評価では、残る差は4.4カ月とされる。
限られた種類の作業では、クローズドの最先端モデルに支払う費用が、タスク当たり約5倍のコストで約4カ月の先行を買うことになるという。

この評価が妥当なら、オープンかクローズドかを組織全体で一律に選ぶのではなく、作業内容ごとに選ぶ判断が強まる。
時間制約が厳しい作業や難しい作業では、クローズドモデルの割高な利用料がなお意味を持つ範囲があることも示している。