Morphing Identity

Morphing Identity: Exploring Self-Other Identity Continuum through Interpersonal Facial Morphing Experience

Kye Shimizu, Santa Naruse, Jun Nishida, and Shunichi Kasahara
ACM CHI 2023

Paper (ACM Digital Library) · PDF

概要

二人の顔画像を混ぜ、時間をかけて入れ替える体験を設計し、自己と他者のアイデンティティが連続的に変わる過程を探りました。二つの顔を並べて表示し、それぞれが自分側のモーフィングする顔を操作できるようにすることで、多面的な対人体験をつくりました。多様な人間関係での体験を調べるため、公開展示を通じて定性的・定量的な調査を行いました。その結果、顔が変化する過程には、自分の顔と認識し続ける範囲と、さまざまな対人的な経験があることが分かりました。これらの知見から、行為主体感と顔のアイデンティティで表されるSelf-Other Continuum（自他の連続体）をまとめました。この連続体は、対人コミュニケーションの社会的・主観的な側面を捉え、今後のシナリオ設計や、遠隔コミュニケーション機器の研究を補う知見につながります。

自分の顔はどこまでか

顔は二つのものを同時に伝えます。表情、視線、口の動きといった顔のシグナルと、自分と他者の境界を示す顔のアイデンティティです。心理学では、その境界が動きうることが示されています。Enfacement illusionでは、自分の顔への刺激と同期して他者の顔が触れられるのを見ると、他者の顔を自分のもののように感じ始めます。しかし、この誘導には時間がかかり、身体を動かさずにいる必要があるため、会話や非言語的なやり取りを扱えません。二人が話し、動き続けながら、顔が徐々に互いの顔へ変わるとき、自他の境界はどこにあるのかを問いとしました。

二つの顔をリアルタイムに混ぜる

Morphing Identityは、顔を静的なアイデンティティとリアルタイムのシグナルに分け、再び組み合わせます。二人の顔をStyleGAN2の潜在空間に投影し、一方から他方へつながる100枚の中間画像を生成します。顔の動作を再現するモデルが、現在の段階の画像をユーザー自身の表情や頭の姿勢で動かします。入力から表示までの遅延は約300 msです。画面には二つの顔が並び、自分の顔は徐々に相手へ、相手の顔は自分へと変わります。ユーザーは一貫して自分側の顔を動かすため、最後には相手の顔を自分が動かし、自分の顔を相手が動かす状態になります。

公開展示で集めた数千件の判断

初対面の人からカップル、家族まで多様な関係を含めるため、公開展示に二つの対称な半開放型ブースを設置しました。参加者は、画面の顔がまだ自分に見える間、フットスイッチを押し続けます。顔は毎秒2%ずつ変化し、完全に入れ替わってから元へ戻ります。変化が緩やかなので、変わっていること自体には気づきにくく、スイッチは変化の検出ではなく自己認識を測ります。9,269件の回答を集め、信頼性の低いものを除いた3,411件を分析しました。大きく異なる顔の組み合わせも比較できるよう、境界をGANの潜在空間上の距離として測定しました。さらに家族、カップル、友人など31組62名にインタビューしました。

自分と他者をつなぐ連続体

参加者の認識は、ある一点で自分から他者へ切り替わるのではなく、拡張、共有、交差という連続した過程をたどりました。一方、自分が動かしている顔に対する行為主体感は、どの段階でも保たれていました。

連続体の初めには、自分の顔と認識し続ける範囲があります。モーフ率が約20%になるまでは、既に相手の特徴が含まれていても自分の顔と認識し、多くの参加者は変化に気づきませんでした。「途中まで変わっていることに気づかなかった」という声がありました。ここでは顔のアイデンティティが拡張され、自分の顔が気づかないうちに他者の一部を取り込んでいます。

その範囲を越えると、顔は共有されたものになります。参加者は、新しい顔でありながら自分のアイデンティティも含まれると語りました。「はっきり気づいたときには、もう自分以外の誰かに見えた。でも同時に、どこか親しみを感じた」という感想です。混ざった顔が二人の話題となり、家族の似ているところや、「将来の自分たちの子どもの顔が見えた」といった次の世代の話にもつながりました。

モーフ率が高くなると、アイデンティティが交差します。各参加者は相手の顔になった画像を動かし、「自分とはまったく違う顔と表情を自由に動かせた」と楽しむ人もいました。同時に、相手が動かす顔をまだ自分のものと感じ、奇妙さや恥ずかしさを覚える人もいました。息子と顔を入れ替えた母親からは、「私の顔で遊ばないで！」という声もありました。

行為主体感とアイデンティティを分ける

顔のアイデンティティとシグナルを分離するため、動かしている顔と自分だと認識する顔が、別々の人に属しえます。日常では一致している両者が、この連続体の中では離れ、最後には交差します。「自分が相手の顔を動かしている」と同時に、「相手が自分の顔を動かしている」のです。どの段階でも制御を失ったという発言はなく、変わったのは行為主体感ではなく顔のアイデンティティでした。

自分の顔と認識し続ける範囲は、静止画によるEnfacementの研究で報告された40〜60%より狭いものでした。論文では、リアルタイムの動きによって顔を見分ける手がかりが増えること、異なる性別の組み合わせを含むこと、「自分かどうか」という、より厳しい判断を求めたことの三点を理由の候補として挙げています。

連続体を使った設計

連続体の各領域は、それぞれ異なる用途を示唆します。拡張の領域では、気づかれない程度に相手の特徴を自分の顔へ混ぜることで、例えばビデオ通話で親近感を高められるかもしれません。顔の類似は信頼や好意を高めると知られています。共有された顔では、新入社員と先輩指導員が一緒に接客するように、二人が一つのアバターとして行動し、責任や達成感を共有することが考えられます。交差した顔では、同意を得て、信頼する相手の顔を借りることもできます。一方、同意のない交換は顔のアイデンティティを侵害しかねません。交換への反応は楽しさから嫌悪まで幅広かったため、論文では一律の設計を避けるべきだと論じています。

展示

私たちのアイデンティティとは何か。本作品は、自分の顔だと分かっている筈なのに、自分だった顔がいつの間にか他者の顔に変容していく体験を提供する。人間の変化知覚特性に基づいて、計算的に作り出された知覚的に滑らかな変化を顔映像に適応して、リアルタイムに自他の比率を徐々に変えながら顔映像を再合成することで、変化を知覚しない顔画像の変化を引き起こす。映像を介したコミュニケーションにおいて、個人を識別するための顔映像が持つアイデンティティの流動性に着目し、自分自身が思う自分と、他者が思う自分がどのように変容し得るかを探索する体験型の作品である。

Credit for exhibition projects

Concept and Research
– Shunichi Kasahara (Sony CSL)
System
– Shunichi Kasahara (Sony CSL)
– Kye Shimizu (Sony CSL)
– Santa Naruse (Sony CSL)
– Naoto Ienaga (Tsukuba University)
Technical Assistant
– Kazuma Takada (Sony CSL)
– Taku Tanichi (Sony CSL)
– Maki Sugimoto (Keio University)

Exhibition

特別展「きみとロボット ニンゲンッテ、ナンダ？」、2022年3月18日〜8月31日、日本科学未来館

Media Ambition Tokyo（MAT）、2021年5月12日〜6月8日、六本木ヒルズ森タワー52階・東京シティビュー

Sony Park Exhibition “Research for the Future of Humanity”、2021年7月24日〜8月10日、Ginza Sony Park

Reference

Kye Shimizu, Santa Naruse, Jun Nishida, and Shunichi Kasahara. 2023. Morphing Identity: Exploring Self-Other Identity Continuum through Interpersonal Facial Morphing Experience. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (CHI ’23). Association for Computing Machinery, New York, NY, USA, 1–15. https://doi.org/10.1145/3544548.3580853

@inproceedings{10.1145/3544548.3580853,
  author    = {Shimizu, Kye and Naruse, Santa and Nishida, Jun and Kasahara, Shunichi},
  title     = {Morphing Identity: Exploring Self-Other Identity Continuum through Interpersonal Facial Morphing Experience},
  booktitle = {Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems},
  series    = {CHI '23},
  year      = {2023},
  pages     = {1--15},
  publisher = {Association for Computing Machinery},
  address   = {New York, NY, USA},
  doi       = {10.1145/3544548.3580853}
}

Figures from the paper (Shimizu et al., CHI ’23). © 2023 Copyright held by the owner/author(s). Publication rights licensed to ACM.

• Related projects: Face boundary in action, Control over self and others’ face, Human Latent Metrics