ShadowClones

ShadowClones: an Interface to Maintain a Multiple Sense of Body-space Coordination in Multiple Visual Perspectives

Kazuma Takada, Nanako Kumasaki, Tom Froese, Kazuhisa Shibata, Jun Nishida, and Shunichi Kasahara
ACM Augmented Humans 2023

Paper (ACM Digital Library) · PDF

概要

ShadowClonesは、一人が複数の空間にある複数の身体を使って活動するためのインターフェースです。近年の遠隔操作技術は複数対象の同時制御を可能にしましたが、異なる空間や視点を瞬時に何度も切り替えて認識する際の高い認知負荷が課題です。そこで、注意を向ける前に視覚情報を処理する仕組みを利用し、注視していない領域にも自分の身体の情報を投影するShadowClonesを設計・評価しました。身体と空間の関係への気づきを高め、アバターや遠隔ロボットの視点間を滑らかに切り替えることを目指しています。視覚的な到達課題で所要時間と成功率を評価したところ、非注視領域に身体の動きを投影しない条件より高い成績を示しました。この効果の仕組みと、VR eスポーツや、建設現場・災害現場での複数ロボット遠隔操作への応用を議論しています。

複数の身体を切り替える

ネットワークを介して、一人が複数のアバターや遠隔ロボットを同時に操作できるようになっています。それぞれの視点を画面分割で表示すると、視点を何度も切り替える必要があります。そのたびに、新しい視点の空間座標と、その中での自分の身体、手、カーソルの位置を理解し直す負荷が生じます。異なる空間の身体を、こうした認知負荷なしに繰り返し瞬時に切り替えるにはどうすればよいかを考えました。

着目したのは前注意的な処理です。人は一つひとつに注意を向けなくても、視野内の複数の動く物体を追い続けられます。自分の動作を、見ていない画面も含めすべての視点に表示すれば、各空間での身体の位置感覚が保たれ、切り替えた直後から動けるのではないかと考えました。

自分の動きの「影」を映す

ShadowClonesは、ユーザーの動きをすべての視点に同時に表示します。視線を向けた画面が選ばれ、そこに実際に操作できる「身体」カーソルが現れます。他の画面には、同じマウスの動きにそれぞれの座標系で追従する、薄い「影」のカーソルを表示します。影のカーソルでは操作できません。

四つの視点をまたぐ到達課題

実験では、ランダムに回転した平面を示す四つの画面に、点状のターゲットが次々と現れました。参加者はマウスを使い、1,000 ms以内に各ターゲットへ到達する必要があります。600 msまたは800 msごとに別の画面に新たなターゲットが現れるため、ほぼ毎回、視点を切り替えます。両条件とも切り替えは視線で行い、違いは見ていない画面に影のカーソルを表示するかどうかだけです。筋疲労や身体の見た目などの影響を除くため、仮想身体ではなくカーソルを使う最も単純な構成としました。

すべての空間で身体の感覚を保つ

見ていない画面に自分の動きの影があると、別の空間へ切り替えてから速く行動できました。ほぼ毎回視点の切り替えを伴うターゲットへの到達時間は、ShadowClonesで中央値が57 ms短くなりました。時間内に到達できた割合も大きく増えました。ターゲットが600 ms間隔で現れる場合、成功率の中央値は41%から73%へ、800 ms間隔では74%から87%へ上がりました。視点を切り替える回数も増えました。論文では、影によって複数の空間で身体と空間の対応感覚が同時に保たれたと解釈しています。

影が役立つ理由

一回の到達には、新しいターゲットに気づく、そこへ視線を動かす、視点を切り替える、新しい座標系に手の動きを合わせる、という段階があります。視線による切り替えは、切り替えそのものの認知負荷を小さくします。論文では、システムのタイミングだけで改善を説明することも除外しました。表示は眼球運動に約20 msで追従し、画面間のサッカードには約60 msかかるため、57 msの改善はシステムの遅延だけでは説明できません。影が助けるのは最後の段階です。すべての画面でカーソル位置が見えているため、注視する前から自分の動きと各空間の関係を、意識的ではなく暗黙的な過程で把握できます。

従来の複数カーソルの手法は、一つの座標系の中で複数のカーソルを扱っていました。ShadowClonesは、空間ごとに別々の身体と空間の対応を保ちます。これは、異なる場所にある身体を並行して操作するために必要なことです。

多くの場所に、多くの身体を持つ

この方法は、一人で複数のゲーム世界のキャラクターの手を同時に操作する、新しいVR eスポーツにつながる可能性があります。また、建設現場や災害現場で、一人の操作者が複数の視点を使い、操作性能を落とさずに複数の建設機械やロボットを動かす用途も考えられます。

Reference

Kazuma Takada, Nanako Kumasaki, Tom Froese, Kazuhisa Shibata, Jun Nishida, and Shunichi Kasahara. 2023. ShadowClones: an Interface to Maintain a Multiple Sense of Body-space Coordination in Multiple Visual Perspectives. In Proceedings of the Augmented Humans International Conference 2023 (AHs ’23). Association for Computing Machinery, New York, NY, USA, 171–178. https://doi.org/10.1145/3582700.3582706

@inproceedings{10.1145/3582700.3582706,
  author    = {Takada, Kazuma and Kumasaki, Nanako and Froese, Tom and Shibata, Kazuhisa and Nishida, Jun and Kasahara, Shunichi},
  title     = {ShadowClones: an Interface to Maintain a Multiple Sense of Body-space Coordination in Multiple Visual Perspectives},
  booktitle = {Proceedings of the Augmented Humans International Conference 2023},
  series    = {AHs '23},
  year      = {2023},
  pages     = {171--178},
  publisher = {Association for Computing Machinery},
  address   = {New York, NY, USA},
  doi       = {10.1145/3582700.3582706}
}

Figures from the paper (Takada et al., AHs ’23). © 2023 Copyright held by the owner/author(s). Publication rights licensed to ACM.

• Related projects: Parallel Ping-Pong, Parallel Adaptation