Control over self and others’ face

Control over self and others’ face: exploitation and exploration

Wen Wen, Jie Mei, Hakan Aktas, Acer Yu-Chan Chang, Yosuke Suzuishi, and Shunichi Kasahara
Scientific Reports 2024

Wen Wen、Hakan Aktaş、Jie Mei、Acer Chang、Yosuke Suzuishiとの共同研究です。

“Control over self and others’ face: exploitation and exploration”の紹介映像。

概要

顔は自己を識別する重要な手がかりであり、行為主体感は、行為を通じて環境に及ぼす自分の影響を捉えるうえで大きな役割を果たします。本研究では、顔の認識による自己同定が、動きを通じて感じる制御感にどう影響するかを調べました。自分の顔だと分かると、それを自分で制御できるという信念が生まれ、行為と感覚フィードバックのずれを鋭く検出し、制御の判断で重く扱うようになると考えました。この信念に基づく状態を「活用モード」と呼びます。一方、他者の顔を動かすときには、自分で制御できるという信念がありません。そのため、行為と感覚入力の規則性を手がかりに制御を判断し、その情報を集めるために探索的に動くと考えられます。これを「探索モード」と呼びます。

実験では深層生成モデルを使い、自分や他者の顔を、顔や頭の動きで操作できる仕組みを用いました。画面には自分の顔または他者の顔を表示し、動きは本人のものだけを反映する完全制御条件と、本人と実験者の動きを平均する部分制御条件を設けました。参加者は、自分の顔の方が自己同定の評価は有意に高い一方、行為主体感は他者の顔に対して高く報告しました。また、他者の顔を操作するときの方が動作の多様性も高まりました。これらは探索・活用の理論を支持します。自分の顔から強い制御の信念が生まれると、感覚運動の予測誤差に敏感になり、行為主体感が下がります。制御の信念がない場合は、探索的な動作で情報を効率よく集め、行為主体感を形成すると考えられます。

自分の顔を見ると制御感は強まるか

鏡を見るとき、私たちはそこに映る顔を自分で動かせると疑いません。自分を認識することには、制御できるという信念が伴います。この信念は行為主体感を強めるのでしょうか。自分の声を使った先行研究は、そうした可能性を示していました。しかし、行為主体感は、自分の動作と知覚のずれへの敏感さにも左右されます。制御の信念がその敏感さにどう影響するかは、調べられていませんでした。そこで、自分の顔の認識が、その顔に対する行為主体感と、判断中の動作をどう変えるかを検討しました。

自分の顔と他者の顔を動かす

深層生成モデルLatent Image Animatorを用い、画面上の顔が参加者の頭や顔の動きにリアルタイムで追従するようにしました。顔の見た目は、参加者本人か実験者のどちらかです。完全制御条件では参加者の動きだけに、部分制御条件では参加者と実験者の動きの平均に追従します。すべて同じアルゴリズムで映像を生成するため、実際の制御の程度は顔の持ち主によって変わりません。20名の参加者が、各試行で20秒間自由に顔を動かした後、自分の顔にどれだけ似ているか、どれだけ制御していると感じるかを評価しました。完全制御でも映像には約300 msの遅延があり、どの条件にも小さなずれが残りました。

A two-by-two table of example frames: self-face or other-face, with full control (the displayed face moves in sync with the participant) or partial control (it moves with a mix of the participant’s and the experimenter’s motion) — 四つの条件。完全制御では表示された顔が参加者に追従し、部分制御では参加者と実験者の動きを混ぜて動く。

活用と探索

自分の顔を認識すると活用モードに、他者の顔では探索モードになると考えられます。参加者は自分の顔に対して低い制御感を報告し、他者の顔を動かすときには、より大きく多様に動きました。自己同定は自分の顔ではるかに高かった一方、行為主体感は完全制御・部分制御ともに他者の顔で高くなりました（顔の主効果、F(1, 19) = 11.42, p = 0.003）。他者の顔の方がうまく制御できたためではありません。測定した動作誤差は、むしろ自分の顔の方がわずかに小さいほどでした。動作にも違いがあり、他者の顔では頭、目、唇の移動距離が大きく、動作の多様性も高くなりました（F(1, 19) = 5.56, p = 0.029）。

Violin and box plots: agency ratings are higher for the other-face than for the self-face under full and partial control (A); self-identification ratings are much higher for the self-face (B) — （A）完全制御・部分制御の両方で、行為主体感は自分の顔より他者の顔で高かった。（B）自己同定の評価は、自分の顔ではるかに高かった。

自分の顔で行為主体感が下がる理由

論文では、探索・活用の理論で結果を説明しています。鏡のように自分の顔を認識すると、自分が制御しているという信念が生まれます。その下では、制御を活用しながら予測誤差に注意が向くため、行為とフィードバックの小さなずれが強く影響します。ここでは生成映像の遅延や空間的な誤差によって、行為主体感が大きく下がります。他者の顔のように制御の信念がない場合は、自分の行為と見える動きの間に規則性を探し、大きく多様な動作で制御の証拠を集めます。行為主体感はゆっくり形成され、小さな誤差も許容されます。したがって、自己同定に伴う制御の信念は、声を用いた先行研究が示唆したように行為主体感を強めるのではなく、損なわれやすくしていました。

Two S-shaped curves of sense of agency against sensorimotor input: the exploitation curve (blue) is steep, the exploration curve (red) gentler; dashed lines mark partial control and a high level of control with small discrepancies — 探索・活用の仮説。活用モード（青）では小さな予測誤差でも行為主体感が急激に低下する。探索モード（赤）では感覚運動入力に伴って徐々に高まる。本研究で検討したのは、部分制御から、小さなずれを伴う高い制御までの範囲。

ただし、別の説明も排除できません。見慣れた自分の顔の方が、単にずれを検出しやすい可能性があります。本実験では、誤差を重く扱うことと、誤差をよく検出できることを区別できません。この理論で自分の顔に対する制御の確信がより強くなると予測されるのは、今回の装置では実現できなかった、完全に誤差のない制御の場合です。

自分に似たアバター

この結果は、人型ロボットや仮想アバターのように、ユーザーに似すぎた制御対象が行為主体感を下げる可能性を示唆しています。論文ではこれを「不気味の谷」にたとえています。人がヒューマン・マシン・インターフェースを通じて、より多くのアバターやロボットを操作するようになる中で、この理論は、いつ制御感を持ち、いつ探索するのかを予測する助けになるかもしれません。本研究は、主観評価に基づく、この理論の初期的な検証として位置づけています。

If we can change the facial identity, we can control the brief in control (it looks like me or other?). And it impacts the sense of agency indeed! aligned with @wenutokyo ‘s theory of ‘exploitation and exploration’. Very interesting experiment and results!https://t.co/Mfr7QAkRae https://t.co/y9sfrvWlsI
— Shunichi Kasahara (@shn_kasa) July 6, 2024

Sci Rep.からでた @wenutokyo さんとの共同研究論文🎉顔の運動は保持しつつ顔を入れ替えることで「自分であるか？の信念」のみを変える実験デザインでSense of Agencyを調査する。実は他人顔を動かしている時のほうがAgencyを高く報告する。何故か！？→　https://t.co/Mfr7QAkRae
これは面白いです。 https://t.co/y9sfrvWlsI
— Shunichi Kasahara (@shn_kasa) July 8, 2024

Reference

Wen Wen, Jie Mei, Hakan Aktas, Acer Yu-Chan Chang, Yosuke Suzuishi, and Shunichi Kasahara. 2024. Control over self and others’ face: exploitation and exploration. Scientific Reports 14, 1, Article 15473 (July 2024). https://doi.org/10.1038/s41598-024-66316-2

BibTeX

@article{10.1038/s41598-024-66316-2,
  author    = {Wen, Wen and Mei, Jie and Aktas, Hakan and Chang, Acer Yu-Chan and Suzuishi, Yosuke and Kasahara, Shunichi},
  title     = {Control over self and others’ face: exploitation and exploration},
  journal   = {Scientific Reports},
  volume    = {14},
  number    = {1},
  year      = {2024},
  articleno = {15473},
  publisher = {Springer Science and Business Media LLC},
  doi       = {10.1038/s41598-024-66316-2}
}

Figures from the paper (Wen et al., Scientific Reports 2024), licensed under CC BY 4.0.

News: The new paper on the collaboration project from Nature Scientific Reports
Related projects: Face boundary in action