Behind the Game

Behind The Game: Implicit Spatio-Temporal Intervention in Inter-personal Remote Physical Interactions on Playing Air Hockey

Azumi Maekawa, Hiroto Saito, Narin Okazaki, Shunichi Kasahara, and Masahiko Inami
ACM SIGGRAPH 2021 Emerging Technologies

Azumi Maekawa、Hiroto Saito、Narin Okazaki、Masahiko Inami（東京大学先端科学技術研究センター）との共同プロジェクトです。

Paper (ACM Digital Library) · PDF

概要

遠隔地から対人スポーツを行うと、操作とフィードバックの間に生じる遅延によって、プレーヤーの成績と行為主体感が低下します。計算機による支援で成績を改善できても、状況を考慮しない介入は行為主体感を損ないます。本研究では、成績と行為主体感の両方を回復する、状況に応じた支援手法を提案します。二次元の物理ゲームであるエアホッケーを実験環境として、テーブルの片側でストライカーを動かす2Dプロッター型の装置と、遠隔操作用のウェブアプリを構築しました。遠隔地のプレーヤーは、どこからでもウェブブラウザを通じて現地の相手と対戦できます。リアルタイムのカメラ映像からパックの軌道を予測し、試合の状況に合わせてストライカーの制御を支援します。これにより、遠隔プレーヤーの行為主体感を保ちながら成績を改善し、双方がゲームの面白さを体験できるようにします。

遅延のある環境でエアホッケーをする

別の場所にいる相手と身体を使うスポーツで対戦する際、操作からその結果が返ってくるまでの遅延が問題になります。遠隔プレーヤーの反応が遅れ、操作の正確さが下がり、「自分が動作を制御している」という行為主体感も弱まります。現地の相手に対して不利になると、公平でない試合は双方の意欲を削いでしまいます。コンピュータが介入すれば成績を改善できますが、プレーヤーの意図を無視した介入では、行為主体感を失わせるおそれがあります。しかも対人ゲームでは、相手の動き、自分の動き、盤面の状況に応じて、意図が変わり続けます。

この問題を調べるため、遠隔で対戦できるエアホッケーを制作しました。テーブルの片側では、2Dプロッター型の装置がストライカーを動かします。二つのDCモーターの動力をベルトとプーリーで伝え、人の腕の動きに追従できる速度を実現しています。遠隔プレーヤーはブラウザでテーブルのライブ映像を見ながら、マウスやタッチパッドでストライカーの位置を示すインジケーターを動かし、反対側にいる現地のプレーヤーと対戦します。映像が遠隔プレーヤーに届くまでと、その操作が装置に届くまでに、それぞれ数十〜数百ミリ秒の遅延が生じます。

プレーの状況に合わせた支援

支援は、エアホッケーの展開を左右する守備と攻撃の場面で、ストライカーの左右方向の位置にだけ介入します。プレーヤーが意図したとおりにパックを打つことを助けるため、行為主体感を失わずに成績を改善できます。予備実験の守備場面では、ストライカーの動きが自分の動作に合っているように見えるため、自分だけで動かす場合より強い行為主体感を報告する参加者も多くいました。

プレーを観察すると、相手のショットを防いだり打ち返したりする守備と、相手側へパックを打つ攻撃に分けられます。どちらでも重要なのが左右方向の正確さです。位置が合わなければ、パックを空振りしたり、相手のショットを通したりしてしまいます。システムがこの状況を検出すると、一時的に左右方向の位置を制御します。プレーヤーは前後方向の動きを保ち、パックを打つか、手元に留めるかを引き続き決められます。打った後は支援を徐々に弱め、ストライカーを完全にプレーヤーの制御へ戻します。

守備と攻撃は、カメラ映像内のパックとストライカーの状態から検出します。パックが一定以上の速度で遠隔プレーヤー側に向かってくると守備と判断し、予測した軌道とストライカーの移動線が交わる位置へ、ストライカーを左右に動かします。遅れた映像を見てからの反応では間に合わないため、この補正はプレーヤーの入力を待たずに始まります。一方、パックが遠隔プレーヤー側でゆっくり動いていて、プレーヤーがそれを打とうとストライカーを動かすと、攻撃と判断してパックの位置に合わせます。

機械の介入を増やすとどうなるか

支援を増やしても、同じ感覚が保たれるわけではありませんでした。ストライカー前方の接触点を目指して前後方向も補正する試作では、左右方向だけの支援より強くパックを打てましたが、一部の参加者は行為主体感の低下を報告しました。状況推定の誤りなどによって、プレーヤーの意図と異なる動きやタイミングが生じた可能性があります。入力に応じて左右方向のみの支援と二次元の支援を切り替えれば、行為主体感を損なわずに打撃の強さを加えられるかもしれません。パックとの衝突や補正位置へ向かうばね力を触覚で伝える機能も、習熟を助ける可能性がありますが、介入に気づきやすくなる側面もあります。

SIGGRAPH 2021 Emerging Technologiesのデモは、参加者がブラウザから接続し、マウスで現地の相手と対戦できるように計画しました。今後は詳細なユーザー実験を通じて、行為主体感を最大限に保つ支援の設定を調べます。また、介入の増減や機械と共に動くことへの習熟に伴い、人の行動がどう変わるかを検討します。

Reference

Azumi Maekawa, Hiroto Saito, Narin Okazaki, Shunichi Kasahara, and Masahiko Inami. 2021. Behind The Game: Implicit Spatio-Temporal Intervention in Inter-personal Remote Physical Interactions on Playing Air Hockey. In Special Interest Group on Computer Graphics and Interactive Techniques Conference Emerging Technologies (SIGGRAPH ’21). Association for Computing Machinery, New York, NY, USA, 1–4. https://doi.org/10.1145/3450550.3465348

@inproceedings{10.1145/3450550.3465348,
  author    = {Maekawa, Azumi and Saito, Hiroto and Okazaki, Narin and Kasahara, Shunichi and Inami, Masahiko},
  title     = {Behind The Game: Implicit Spatio-Temporal Intervention in Inter-personal Remote Physical Interactions on Playing Air Hockey},
  booktitle = {Special Interest Group on Computer Graphics and Interactive Techniques Conference Emerging Technologies},
  series    = {SIGGRAPH '21},
  year      = {2021},
  pages     = {1--4},
  publisher = {Association for Computing Machinery},
  address   = {New York, NY, USA},
  doi       = {10.1145/3450550.3465348}
}

Figures from the paper (Maekawa et al., SIGGRAPH ’21 Emerging Technologies). © 2021 Association for Computing Machinery.

• Related projects: The Tight Game, Preemptive Action