HAL、スマブラDXのランク戦で人間の上位約1%に到達したとされる

人間のデータから将来の入力を予測

記事は、HALを人間のデータのみで学習した2億4700万パラメータの因果Transformer（過去の入力から次の入力を予測するモデル）として説明している。
ゲーム状態とコントローラー入力の直近256フレームを読み、将来のコントローラー入力をまとまりとして予測する。

著者は、同モデルがランク戦で人間の上位約1%に達し、ハードウェアやネットワーク条件が異なるオンライン環境でもリアルタイムにプレイできるとしている。

この記事には、このモデルが主張するランク戦の順位について、独立に検証された直接比較可能なベンチマークは示されていない。

著者は、事前学習の規模拡大に、リターン条件付けと自己回帰型アクションチャンク化を加えたことで、毎秒10回未満の再計画でもオンラインでリアルタイムにプレイできる2億4700万パラメータのモデル「HAL」が得られたとしている。

遅延のあるオンライン環境での応答

この報告は、大規模な事前学習と、推論やネットワークの遅延がある状況でもゲーム操作の反応をよくすることを狙った手法を組み合わせている。
学習規模、モデルサイズ、観測遅延、将来の操作予測がプレイに与える影響も検討したとしている。