Malleable Embodiment

Malleable Embodiment: Changing Sense of Embodiment by Spatial-Temporal Deformation of Virtual Human Body

Shunichi Kasahara, Keina Konno, Richi Owaki, Tsubasa Nishi, Akiko Takeshita, Takayuki Ito, Shoko Kasuga, and Junichi Ushiba
ACM CHI 2017

本研究は、笠原俊一がSony CSLで進める、人の知覚と認識を変容・拡張する研究・技術の枠組み「Superception」（super + perception）の一環です。YCAM（山口情報芸術センター）との共同研究として、CGによる仮想身体の表現を通じて身体化を調べました。

Paper (ACM Digital Library) · PDF

概要

自分の身体の視覚像を、空間的・時間的に変形した状態へ置き換えると、身体にまつわる感覚も変わるのではないかと考えました。全身の動きを計測し、少し過去や未来の動きを推定して変形するシステムを開発し、ヘッドマウントディスプレイでわずかに変形した自分の身体を見られるようにしました。そのうえで、実際の動作がどう変わるか、身体の物理的・感情的な変化をどう感じるかを調べました。結果として、仮想身体の時空間的変形は、身体感覚と実際の動作の両方を変えました。例えば、約25〜100 ms先の身体像は「軽くなった」という感覚を生みました。この知見をもとに、身体の物理的・感情的な感覚を計算機で制御するための設計を議論します。

身体の感覚は変えられるか

「これは自分の身体だ」という身体所有感は、環境や道具への適応を支え、身体感覚を広げます。それは実際の身体だけに結びついているわけではありません。ラバーハンド錯覚では、視覚と触覚の刺激を同時に与えると、ゴムの手を自分の手のように感じます。没入型VRでも、CGの身体を自分のものと感じるようになります。先行研究では、仮想身体の姿勢、見た目、大きさを変えることで、感じ方に影響が現れています。

私たちは、仮想身体の動きでも同じように身体感覚が変わるかを問いとしました。自分の動きより少し先、あるいは遅れた身体を見ると、身体に伴う感覚は変わるでしょうか。変形した仮想身体によって実際の動作がどう変わるか、その身体を見て物理的・感情的に何を感じるか、という二つを調べました。可能な変形は非常に多いため、人間の身体構造を保ち、自分の身体と感じられることを設計の条件としました。

時間をずらした仮想身体

37個のマーカーを付けたモーションキャプチャースーツと8台の赤外線カメラで全身を計測し、毎秒120フレームで23関節の骨格に変換します。各関節の直近の速度から、少し未来または過去の位置を推定します。変形した身体を、仮想の床、箱、鏡とともに、一人称視点でヘッドマウントディスプレイに表示します。

A dancer wearing a head-mounted display in front of a screen showing skeletons; the motion capture cameras feed a module that generates the spatial-temporal deformed skeleton and renders the first-person view — 全身をモーションキャプチャーで記録し、時間をずらした骨格を生成して、ユーザーの一人称視点からヘッドマウントディスプレイに描画する。

時間のずれは一つのパラメーターTで設定します。毎秒60フレームでは、T = 3.0で基準より約50 ms先、T = −3.0で約50 ms前の関節を表示します。基準の表示自体には、実際の動きに対して約70 msの遅延がありました。身体は箱と線による単純な骨格で表現しました。予備実験ではこれで自分の身体と感じるのに十分で、骨格に立体的な表面を加えると、実際の身体や衣服との小さなずれによって錯覚が弱まる場合がありました。

(a) Diagram of skeleton joints: each joint position is moved along its smoothed velocity by T to give the deformed position. (b) Three frames of a person waving both arms clockwise, with the original skeleton in yellow and the deformed skeleton in blue slightly ahead — （a）平滑化した速度方向に、パラメーターTに応じて各関節を動かす。（b）両腕を時計回りに回す人。黄色は現在の身体（T = 0）、青は約50 ms先の推定身体（T = 3.0）。

時間のずれた身体で手を伸ばす

17名がヘッドマウントディスプレイを装着して座り、仮想の箱に向けて右手を繰り返し伸ばしました。10試行ごとに、告知せず変形を変えました。Tの範囲は−3.0〜3.0で、予備実験で変形に気づかないことを確認した範囲です。

仮想身体を先へ進めるほど、実際に手を伸ばす距離は短くなりました。17名中1名を除いて、Tの増加とともに到達距離が減り、範囲の両端で10 cm以上変化する人もいました。参加者は概ね、変形にも自分の動作の変化にも気づきませんでした。目標に届かないと、「届かなくなったので、自分が疲れすぎているのだと思った」と、自分側の理由で捉えました。

Regression lines of reaching distance against the deformation parameter T from −3.0 to 3.0 for each of the 17 participants, all but one sloping downward, with correlation coefficients from −0.60 to 0.04 — 参加者ごとの、変形パラメーターTと到達距離の線形回帰。括弧内は相関係数。1名を除き、仮想身体を先へずらすほど到達距離が短くなった。

身体を熟知する人とのワークショップ

変形をどう感じるかを知るため、職業や日々の実践を通じて身体への意識が高い12名とワークショップを行いました。プロのバレエダンサー、コンテンポラリーダンサー、ダンス指導者、ジャズダンサー、カンフーの達人、トライアスリートなどです。最初のセッションでは、変形の仕組みを知らないまま、バレエやカンフーなどで自由に動いてもらいました。変形を変えながら、仮想身体を自分と感じるか、どのような感覚かを話してもらいました。第2セッションでは仕組みを説明し、一緒に効果を探りました。

未来の身体は軽く、過去の身体は重い

仮想身体を自分のものと感じている間は、少し先の身体を見ると軽く、機敏で活力があるように感じ、少し前の身体では重く、鈍く、弱まったように感じました。実際の身体は変わっていません。この対称的な傾向は、前後約30 msまで（Tが−2〜2）の小さな変形で最も明確でした。「身体が軽くなった」「少し重く感じる」「望んでいたように機敏になった」と、自分の身体の変化として語られました。「何か変えました？今はもっと元気になった」という感情的な発言も伴いました。

Map of participants’ statements along the temporal deformation from −80 ms to +80 ms: near zero, imperceptible; toward +30 ms, lighter, fast and vitalized; toward −30 ms, heavier, slow and exhausting; beyond ±80 ms, discriminated, with statements such as “It looks like seaweed” and “It looks like comic character” — ワークショップの発言を、80 ms前から80 ms先までの時間的変形に沿って配置したもの。未来側では「軽い」「活気がある」、過去側では「重い」「疲れる」といった発言があった。

発言は、変形のない身体を中心として概ね対称な三状態に分かれました。変形が最小のときは変化に気づかず、身体所有感を保ちます（知覚できない状態）。少し大きくなると、自分の身体だと感じながら変化に気づきます（所有感を伴う変化の知覚）。重さや活力の感覚はこの領域に現れました。変形が大きいと、仮想身体と自分を区別し、所有感が失われます（区別する状態）。「腕が海藻みたい」「腕にばねが付いているみたい」という発言がありました。各状態の境界は個人の感受性で異なりました。

物理的な身体感覚の変化が語られたのは、仮想身体への所有感が保たれた範囲だけでした。所有感を失うと自分の身体の変化としては語らなくなりますが、仮想身体とのつながりは感じ、動き方も変わりました。プロのダンサーは「身体に付いたこの仮想のばねを使うのは楽しい。遊んでいると動きの発想が湧いてくる」と話しました。

内側からの変調と、外側からの着想

見えるものと感じるものの食い違いに対する二つの解釈は、仮想身体を変形する二つの設計領域になります。身体所有感がある間は、食い違いを無意識に自分の身体の変化として捉えます。重さ、大きさ、速さ、調子などの身体感覚を内側から調整する「内的変調」です。所有感を保つため効果は小さくする必要がありますが、本人が気づかずに働きます。所有感を失ってもつながりが残ると、仮想身体を、自分に付いた物体や身体の延長として扱い、動きの着想を得ます。これが「外的着想」です。この領域では身体をより自由に表現でき、感情への効果も残ります。平滑化した身体を見たバレエダンサーは、「滑らかな自分の身体を見ると心地よく、優雅に感じる。本当に優雅で、バレエのアダージオで表現したいものだ」と語りました。

Diagram of the design space along the deformation of the virtual body: intrinsic modulation near the original body, under body ownership, with physical sensations such as weight, size, speed and emotional ones such as vitality; extrinsic inspiration further out, under a sense of connection, with interactive tool, body attached object, extension of body and personality of the virtual body — 仮想身体変形の設計領域。元の身体に近く所有感が保たれる範囲では、身体的・感情的な感覚を内側から変える。外側の、つながりだけが残る範囲では、仮想身体が動きの着想を与える。

二人組のセッションでは、3組が仮想空間を共有し、互いの身体を見ました。両方の身体を未来側へずらすと、自分だけでなく相手の動きも軽く活発に感じました。一方を未来、もう一方を過去へずらして異なる変形を見せた場合でも、手をつないでいる間は同じ状態にいると信じました。人ごとに異なる変形を見せれば、身体の感じ方に一種の並行した現実をつくれる可能性があります。

錯覚が崩れるところ

どの状況でも所有感が保たれるわけではありません。手を振るなどの小さな動きでは、未来側の身体が本人より先に動くように見え、「心を読んで、自分が行く前にそこへ行くようだ」と感じられることがありました。大きく先へずらすと、手を止めたときに行き過ぎる動きが生じ、「弾む感じ」と評されました。単純な未来動作の推定による副作用です。カンフーの型や水泳のストロークなどに熟達した人ほど小さなずれに気づきやすく、手をたたくなど自分や他者に触れる動作も、視覚と触覚の不一致を露わにしました。未来側が軽く、過去側が重く感じられる理由は、まだ説明されていません。

身体感覚を計算機で制御するために

結果は、身体の知覚と、それに伴う感覚や感情を計算によって制御する可能性を開きます。内的変調の領域で変化を徐々に計画的に加えれば、アスリートやダンサーの身体の調子を調整したり、身体・精神のリハビリを支えたりできるかもしれません。ゲームで攻撃を受けると実際に疲れを感じ、仮想の薬で元気になる体験も考えられます。外的着想の領域は、身体につながる仮想身体や物体が動きを導き、発想を与える、ダンス創作、スポーツ訓練、療法に適しています。光学透過型ディスプレイを使う複合現実版なら、実際の身体を基盤にした変形を実現できるでしょう。

CHI 2017の映像

CHI 2017での発表。

CHI 2017向けのプレビュー映像。

Reference

Shunichi Kasahara, Keina Konno, Richi Owaki, Tsubasa Nishi, Akiko Takeshita, Takayuki Ito, Shoko Kasuga, and Junichi Ushiba. 2017. Malleable Embodiment: Changing Sense of Embodiment by Spatial-Temporal Deformation of Virtual Human Body. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (CHI ’17). Association for Computing Machinery, New York, NY, USA, 6438–6448. https://doi.org/10.1145/3025453.3025962

BibTeX

@inproceedings{10.1145/3025453.3025962,
  author    = {Kasahara, Shunichi and Konno, Keina and Owaki, Richi and Nishi, Tsubasa and Takeshita, Akiko and Ito, Takayuki and Kasuga, Shoko and Ushiba, Junichi},
  title     = {Malleable Embodiment: Changing Sense of Embodiment by Spatial-Temporal Deformation of Virtual Human Body},
  booktitle = {Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems},
  series    = {CHI '17},
  year      = {2017},
  pages     = {6438--6448},
  publisher = {Association for Computing Machinery},
  address   = {New York, NY, USA},
  doi       = {10.1145/3025453.3025962}
}

News: Superception Research Update 2021
Related projects: Parallel Eyes, Morphing Identity