Parallel Eyes

Shunichi Kasahara, Mitsuhito Ando, Kiyoshi Suganuma, and Jun Rekimoto
ACM CHI 2016 · ACM SIGGRAPH 2016 VR Village

本プロジェクトは、YCAM（山口情報芸術センター）との共同研究です。

Paper (ACM Digital Library) · PDF

概要

本研究は、自分と他者の一人称視点をリアルタイムに並べて共有したとき、人がそれらをどう理解し、見る行動を発達させるかを探ります。視線追跡装置を内蔵した複数のビデオシースルー型ヘッドマウントディスプレイで、4人が互いの一人称映像を見るシステムを開発しました。これを使って絵を描く活動と簡単な追いかけっこを行い、ワークショップ形式で調べました。その結果、人は互いの記憶や判断を補い合えること、複雑な状況でも自分の身体や他者との空間的な関係を理解するための見方を身につけられることが分かりました。視行動のパターンと設計上の示唆を、複数視点を共有する体験の設計へとつなげます。

互いの目を通して見る

視覚を直接つなぎ、他の人と共有できたらどうなるでしょうか。身体化を広げたり、記憶を補ったり、知覚を拡張したりできるでしょうか。小型ウェアラブルカメラの普及により、一人称映像は体験を共有する手段になっています。ただし、多くの配信システムでは、頭部カメラで撮る人と画面で見る人の役割が固定されています。二人が一人称映像を交換する研究はありましたが、複数人が同時に視点を交換する構成はあまり分かっていませんでした。自分と他者の複数の視点を同時に知覚し、理解できるか、どのように使うようになるかを調べました。

一つのヘッドマウントディスプレイに四つの視点

Parallel Eyesは、この問いを探るための技術的な試作です。Google Cardboardにスマートフォンを入れたビデオシースルー型ヘッドマウントディスプレイを装着し、変換レンズでカメラの視野を約100度に広げています。4台のスマートフォンがWi-Fiでカメラ映像を互いに送り、各画面に自分と他の3人の一人称映像を分割表示します。映像は毎秒20〜30フレームで、利用できる帯域に合わせて解像度を調整します。

The Parallel Eyes goggles from outside and inside, and a person wearing them with a small computer and battery on a belt — スマートフォンを使ったビデオシースルー型のParallel Eyesゴーグル（左・中央）。小型コンピュータとバッテリーを身体に装着する（右）。

ゴーグル内の小型赤外線カメラとLEDで片目を撮影し、瞳孔を検出して四つの映像のどれを見ているかを調べます。視線の軌跡はゴーグル内には表示せず、四つの映像と一緒に記録します。研究者、観客、参加者が後から映像を見返し、意識的な行動と、本人が気づかずに起きたことの両方を振り返れます。

An operator watching the eye images of four participants on a screen, and a diagram of the goggles with a small eye camera beside the smartphone — 4人の目の画像を表示する操作画面（左）と、ゴーグルに内蔵した眼球撮影用カメラ（右）。

絵描きと鬼ごっこのワークショップ

統制実験ではなく、5回の公開ワークショップを通じて使い方を調べました。参加者は8〜52歳の40名で、多くがヘッドマウントディスプレイを初めて使いました。各回8名が4人ずつの2チームに分かれ、一方が活動する間、もう一方は視線を重ねた四つの映像を大型スクリーンで見ました。最初に四つの中から自分の視点を探し、互いに握手する短い導入を行った後、二つの活動に参加しました。それぞれの活動後に研究者と記録映像を振り返りました。

Two screens of four first person views with colored eye movement traces, one from the game of tag and one from the drawing activity — 観客に見せた四つの映像と各参加者の視線。鬼ごっこ（左）と絵描き（右）。

「うろ覚えのお絵描き」では、4人が机に座り、キリン、自由の女神、紙幣の肖像のように、誰もが見たことはあっても自信を持って描ける人は少ない対象を描きました。手がかりは他の人の視点だけで、声は聞こえますが絵を直接は見られません。鬼ごっこでは、段ボールの柱を置いた舞台を4人が歩き、鬼が柔らかいスポンジの剣で他の人にタッチします。全員のゴーグルで、鬼の映像を強調表示しました。

互いの記憶を使って描く

Four participants wearing cardboard goggles draw side by side at a long table — Parallel Eyesを使った「うろ覚えのお絵描き」。

絵を描く活動では情報量が多すぎる状態になりましたが、多くの参加者が他者を見る方法を身につけ、絵を完成させました。各人は、同じ部分や次の部分を描く人を参照先に選び、絵の変化に合わせて切り替える傾向がありました。例えば、P2が見ていた相手が絵の一部を消すと、P2は別の人に切り替え、その絵にあった斑点を描き始めました。一人に集中する見方と、すべての絵をざっと探す見方を行き来していました。

Four colored timelines, one per participant, showing whose view each participant was looking at over about 110 seconds of drawing a giraffe, with labels for when each part of the drawing appeared — キリンを描く際、4人が誰を見ていたか。色は参照している人の視点、ラベルは各部分が描かれた時点を表す。頭と角の相互参照（*1）や参照先の切り替え（*4）などを示している。

こうした相互参照によって、絵の要素が人から人へ広がりました。一人の描いた頭を別の人が写し、その人が角を加えると、最初の人も角を加えました。紙幣の人物を知らなかった2名も、他の人の視点をもとに絵を完成させました。

Four hand-drawn giraffes from the same session, the first labeled with its parts: horn, face, outline of body, dot, tail, fore leg, back leg and hoof — その回に描かれた4枚のキリン。ほぼすべての要素が各参加者の絵に含まれた。

Animation of the four views during a drawing session

論文ではこれを、他者を手がかりに記憶を呼び起こす分散認知の一形態と解釈しています。ここでは言葉のやり取りなしに成立しました。他の人が自分の視点を見ているか分からないため、互いを参照する際の遠慮など、社会的な障壁が低くなります。ただし同じ性質が、予期しない社会的関係を生む可能性もあり、設計時に考慮する必要があります。

鬼の目から自分を見る

鬼ごっこでは、参加者は数分で他者の視点に映る自分の身体を認識し、それをもとに行動するようになりました。鬼の視点から自分を見て逃げる、自分の視界を隠して他者を見る、別の参加者の視点から進む方向を決める、といった行動が生まれました。

初めは、歩くだけでも混乱する人が多くいました。足元を見るなどして自分の視点を探すように案内すると、自分の身体を認識し、少し速く歩くこともできました。鬼の視点の中に自分を見つけて驚く人もいました。ゲームを続けるうちに戦略が生まれ、後から次のように語られました。

「鬼から逃げるとき、鬼の視点を使いました。鬼の側から自分が見えたからです」（P12）
「鬼の視点に自分が映ったら、逃げるときだと分かりました！」（P4）
「複数の視点を使えました。鬼に近づいたとき、別の人の視点から状況を見て、どこへ逃げるかを決めました」（P3）
「コツは自分の視界を隠すことです。ずっと床を向きながら、他の人の視点を見ていました」（P6）

Six moments of a game of tag, each showing four first person views with colored eye movement traces and marked events — 鬼ごっこの場面と、色で示した各参加者の視線。（c）ではP4が鬼のP3の視点を使って逃げている（*5）。（a）ではP3が床を向いて自分の視界を隠している（*2）。

Participants wearing the goggles walk among white panels on a stage during the game of tag; one holds a soft sword — 段ボールの柱を置いた舞台での鬼ごっこ。

Animation of a game of tag with paralleled shared views

注意の手がかりと状況の理解

映像と視線の記録を見返すと、戦略は二段階で成り立っていました。最初は注意の手がかりです。それまで見ていなかった画面の中で、小さく映る自分、鬼の色をした動く物、自分の服と同じ色など、身体に関係するものへ視線が跳びました。この急な動きは記録に現れますが、振り返りで言及した参加者はいませんでした。この無意識の知覚には周辺視野が重要だと仮説を立てています。次が状況の理解です。手がかりが自分なのか、他の人がどこから見ているのか、相手がどこにいるのかを把握します。この段階は、「鬼をしていて、誰かが自分を見ているのを見つけ、その人を追いかけた」と明確に語られました。

共有映像の中に自分の視点を残すことが、この速い適応を可能にしているようです。人同士の視点を交換するアート作品では、視点と身体が切り離され、歩行や頭を動かすことさえ難しくなりました。Parallel Eyesでは常に四つのうち一つが自分の視点だったため、数分で身体を認識し、それを土台に見る戦略を築けました。

自分の身体を見失い、取り戻す

他者の視点を追うことで、自分の身体を見失うこともありました。他者を見ながら動くのを忘れて立ち止まる人や、鬼の視点に集中して段ボールの壁にぶつかる人がいました。ゲーム前に四つの画面配置を突然入れ替えると身体の対応が分からなくなり、似た動作をしている参加者同士では他者の視点を自分のものと取り違え続けました。自分を見つけ直すために、頭を動かしたり、顔の前で手を振ったりしました。カメラの前にグー、チョキ、パーを出すような特徴的な手の形が有効でした。そこで論文では、自分の視点を固定位置に保つこと、配置を変える際には誰の視点かを示すこと、自分の身体化を保つ手のジェスチャーを用意することを提案しています。

撮る人と見る人の役割を越えて

映像を介したコミュニケーションは、主に二つの形を取ってきました。一緒に座ったり立ったりする状況を模した対面型のビデオ会議と、現地の人の肩越しに遠隔の人が見る、役割が固定された一人称映像の共有です。Parallel Eyesは、対称な関係で一人称映像を互いに交換する第三の構成をつくり、物理的な場面の比喩を越えています。この構成では、互いを理解するために必ずしも明示的な言語コミュニケーションを必要としません。論文は、専門サービス、緊急対応、警備など、複数人が大量の情報を並行して理解し、行動を調整する用途への応用を提案しています。

A table comparing face to face, first person video sharing and mutual first person video exchange by configuration, metaphor and use cases — 映像を介したコミュニケーションの三つの構成：対面型（F2F）、一人称映像共有（FPV）、一人称映像の相互交換（FPX）。

References

Shunichi Kasahara, Mitsuhito Ando, Kiyoshi Suganuma, and Jun Rekimoto. 2016. Parallel Eyes: Exploring Human Capability and Behaviors with Paralleled First Person View Sharing. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems (CHI ’16). Association for Computing Machinery, New York, NY, USA, 1561–1572. https://doi.org/10.1145/2858036.2858495

BibTeX

@inproceedings{10.1145/2858036.2858495,
  author    = {Kasahara, Shunichi and Ando, Mitsuhito and Suganuma, Kiyoshi and Rekimoto, Jun},
  title     = {Parallel Eyes: Exploring Human Capability and Behaviors with Paralleled First Person View Sharing},
  booktitle = {Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems},
  series    = {CHI '16},
  year      = {2016},
  pages     = {1561--1572},
  publisher = {Association for Computing Machinery},
  address   = {New York, NY, USA},
  doi       = {10.1145/2858036.2858495}
}

Shunichi Kasahara, Mitsuhito Ando, Kiyoshi Suganuma, and Jun Rekimoto. 2016. Parallel eyes: exploring human capability and behaviors with paralleled first person view sharing. In ACM SIGGRAPH 2016 VR Village (SIGGRAPH ’16). Association for Computing Machinery, New York, NY, USA, Article 16, 1–2. https://doi.org/10.1145/2929490.2929495

BibTeX

@inproceedings{10.1145/2929490.2929495,
  author    = {Kasahara, Shunichi and Ando, Mitsuhito and Suganuma, Kiyoshi and Rekimoto, Jun},
  title     = {Parallel eyes: exploring human capability and behaviors with paralleled first person view sharing},
  booktitle = {ACM SIGGRAPH 2016 VR Village},
  series    = {SIGGRAPH '16},
  year      = {2016},
  articleno = {16},
  pages     = {1--2},
  publisher = {Association for Computing Machinery},
  address   = {New York, NY, USA},
  doi       = {10.1145/2929490.2929495}
}

News: Parallel Eyes Workshop: Yamaguchi’s Future Classes at YCAM
Related projects: JackIn Head, Malleable Embodiment, Parallel Ping-Pong, Parallel Adaptation, ShadowClones

Exhibition

Ginza Sony Park #004, 未来の銀座の運動会, Parallel Eyes, 2018.12.22 – 2019.1.27, Tokyo Japan.
Talk Session, 田中章浩・渡邊克巳・大崎智史・笠原俊一・西田宗千佳, トークセッション「ヴァーチャル世界でワタシはどうなる？」, 日本科学未来館 5階コ・スタジオ, 日本未来館. 2018/07/29, Tokyo Japan.
Exhibition, SXSW 2017, Sony The WOW Factory, Interactive Festival, 3/12 – 3.14, Austin, Texas
Exhibition, Nico Nico Chokaigi (ニコニコ超会議) 2016, Parallel Eyes, at Makuhari Messe, Japan
Exhibition, TOKYO GAME SHOW 2016, Parallel Eyes, September 15 to 18 at Makuhari Messe, Japan