People are using Super Mario to benchmark AI now | TechCrunch

Thought Pokémon was a tough benchmark for AI? One group of researchers argues that Super Mario Bros. is even tougher.

AI(人工知能)は今や私たちの生活を大きく変えつつあります。しかし、その性能をどのように測定すればよいのでしょうか?
驚くべきことに、AIの能力を評価する手段として「スーパーマリオブラザーズ」が活用されています。AIにゲームをプレイさせることで、判断力や適応力をリアルタイムで分析する新たな評価方法が注目されています。
なぜスーパーマリオがAIのベンチマークテスト(性能を測るためのテスト)にふさわしいのか、そしてAIとゲームの未来について考えてみましょう。

スーパーマリオがAIのテストに適している理由

リアルタイムでの判断力を試せる
スーパーマリオは、瞬時に判断を下す必要があるゲームです。敵を避けたり、穴を飛び越えたりするには、高速で変化する状況に対応しなければなりません。AIにとって、この「リアルタイムでの意思決定能力」を試すことは非常に重要です。
自動運転車やロボット工学でも同様の能力が求められます。このようなスピード感のある環境でAIがどのように動作するかを評価するのに、マリオは理想的なテストフィールドなのです。

環境適応力の評価に最適
スーパーマリオの世界には、地上、水中、城など多様なステージが用意されています。AIはそれぞれの環境に適応しながら、新たな課題を解決する必要があります。
この「環境適応力」は、現実世界でAIが成功するために不可欠な能力です。たとえば、自動運転車が交通状況に応じてスムーズに走行するには、このような柔軟性が求められます。

精密な操作スキルの必要性
マリオをうまく操作するには、ジャンプやアイテム収集など精密なタイミングが必要です。単純なルールに基づいた動作ではなく、細かな調整が求められます。AIがこうした人間のような操作スキルを再現できるかどうかは、技術の進歩を測る上での重要な指標となります。

AIのスーパーマリオ実験で明らかになったこと

高いパフォーマンスを示したAI
 実験では、AIがスーパーマリオをプレイすることで能力が評価されました。その結果、Anthropic社のAIモデル「Claude 3.7」が非常に優れたパフォーマンスを発揮しました。難しいステージでもスムーズに動作し、環境変化に適応できる能力を示したのです。

高性能AIでも苦戦
しかし、すべてのAIが同様に優れているわけではありません。
Googleの「Gemini 1.5 Pro」やOpenAIの「GPT-4o」といった高性能AIは、予想外にもマリオの世界で思うように動けませんでした。
ゲームの高速展開についていけなかったことが主な理由です。この結果から、リアルタイム処理が得意なAIと苦手なAIの違いが明確になりました。

AIはゲーム制作にも活用されるのか?

スーパーマリオをAIのベンチマークとして利用するだけでなく、AIがゲームそのものを作り出す研究も進んでいます。その一例が「MarioVGG」という技術です。

MarioVGGはテキスト入力をもとに、マリオの簡単なゲームプレイ映像を生成します。
例えば「右に走る」「ジャンプする」といった指示を与えると、AIがそれに基づいた動画を作成します。現状では映像の画質が低く、短時間の映像しか生成できませんが、将来的にはAIがリアルタイムでゲームを設計・生成する技術へと発展する可能性があります。

AIとゲームの未来はどうなる?

スーパーマリオを活用したAI研究は、ゲームの枠を超えてさまざまな応用が期待されています。

  • 自動運転:複雑な交通状況を瞬時に判断する能力
  • ロボット工学:変化する環境に適応して作業をこなす技術
  • 教育分野:動的な学習環境を提供するAIモデルの開発

ゲームで培われたAI技術は、効率的な交通管理や学習支援システムなど、さまざまな分野で具体的な価値を生み出す可能性があります。一方で、AIがどこまで人間のような判断力を持つことができるのか、その進化には注目が集まっています。

まとめ
  • スーパーマリオはAIのリアルタイム判断力や適応力をテストする場として有効。
  • AnthropicのClaude 3.7はゲームプレイで高い能力を発揮したが、他の有名AIは苦戦した。
  • AIがゲームを作る技術(MarioVGG)が進化し、将来的にはゲーム開発のあり方が変わる可能性がある。

スーパーマリオのようなゲームを通じて訓練されたAIは、産業や生活にどんな影響を与えるのでしょうか?もしAIが完全にゲームを作れるようになったら、新しい職業は生まれるのでしょうか?

これからの技術の発展を議論する材料として、あなたもAIとゲームの未来について想像してみてください!