MetaのPrometheus、GPUの11％超が待機・故障状態とされる

72基のうち8基を交換用の予備に

Metaの説明によると、オハイオ州ニューオールバニのPrometheusは、1つのNVLinkドメイン当たり72基のGPUを備えるGB200およびGB300システムを使うが、同時に稼働するのは64基で、残る8基は故障GPUを置き換えるホットスペアだという。
同社はさらに、データ並列学習、チェックポイント保存、テレメトリー、診断を使って障害の影響を抑えるとしている。
Muse Wonderでは、事前学習の有効スループット（goodput）が85％超、強化学習では90％超だったと説明した。

Metaによると、Prometheusの第1段階ではGPU 8,000基当たり1日約1,000件の学習中断が発生していた。

Metaは、その後1年でGPU 8,000基当たりの1日の中断を約11件まで減らしたとしている。
同時に、NVLinkドメイン（GPU間を高速接続する単位）内のGPU72基のうち8基をホットスペアとして待機させているという。

大規模な分散AI学習を継続するには、通常の処理に使えないGPUを故障分や予備として相当数確保する必要があることを、この説明は示している。