Investigating the impact of motion visual synchrony on self face recognition using real time morphing
Shunichi Kasahara, Nanako Kumasaki, and Kye Shimizu
Scientific Reports 2024
概要
顔の認識は、自己像や社会的なやり取りを支える重要な要素です。自分の顔だと認識する境界について、先行研究は主に静止画像を用いて調べてきました。本研究では、身体の動きと視覚の同期を伴う状況で、顔の認識がどう変わるかを検討します。まず、自分の顔の認識を測るためのモーフィング指標を検証しました。次に、映像処理技術によって、顔の動きを保ちながら顔のアイデンティティをリアルタイムに変化させる実験を行いました。同期、非同期、静止の三条件で比較すると、動く顔では静止画よりも自分の顔だと認識する範囲が狭くなりましたが、同期と非同期の間に有意差はありませんでした。また、モーフィングの方向は、一貫して認識の境界に偏りを与えました。結果は、顔の運動情報が自己顔認識に重要である一方、その認識は運動の同期に依存せず、顔の動きに対する行為主体感もアイデンティティの判断に影響しないことを示唆しています。動きとアイデンティティを独立に検討できる本手法は、「動いている顔の自他境界」を探る新しい方法となります。
動く顔は、どこまで自分の顔なのか
私たちは写真だけでなく、自分に合わせて顔が動く鏡やビデオ通話でも自分を認識します。自分と他者の顔の境界を調べる研究では、二つの顔をモーフィングした静止画像が主に使われてきました。Enfacement illusionの研究では、この境界が動くことが示されています。視覚と触覚、あるいは視覚と運動を同期させて刺激すると、他者の顔を自分の顔のように感じ始めます。動きを制御する感覚である行為主体感は、身体の一部を自分のものと感じることと関わると知られていますが、顔が自分に見えるかどうかにも影響するかは未検証でした。その理由の一つは、自然な動きを保ったまま顔のアイデンティティを変える技術の難しさです。私たちは、動く顔を自分のものと認識するために、自分との同期が必要かを調べました。
リアルタイムに顔をモーフィングする
まずモーフィングの尺度を作りました。StyleGAN2の潜在空間で、各参加者の顔から一定の距離に「他者」の顔を生成し、自分から他者へ変化する距離を参加者間で比較できるようにしました。最初の実験では、六つの対象顔に向かう静止モーフ画像を評価してもらいました。自他の境界は常に変化範囲の中に収まり、平均44%の位置にあったため、この尺度の妥当性を確認できました。
第2の実験では、モーフィングする顔が鏡の像のように参加者に合わせて動きました。カメラで撮影した動きをアニメーションネットワークでモーフ画像に適用し、毎秒約30フレーム、約250 msの遅延で表示しました。顔は自分から他者へ、または他者から自分へ、毎秒1%ずつ変化します。参加者は2秒ごとに頭を少し回し、「自分より他者に見える」と感じた時点、またはその逆の時点でキーを押しました。三条件の違いは顔の動き方だけです。Syncは上記の同期条件、Asyncは0.32〜2.5秒の間でランダムに変わる遅延を加える条件、Staticは動かない条件です。31名のデータを分析しました。
同期していなくても、自分の顔
顔の動きが自分と同期していなくても、参加者は同じ程度に自分の顔だと認識しました。非同期の顔では制御している感覚が大きく下がったにもかかわらず、自分の顔の境界はSyncとAsyncで同じでした。境界の差は有意ではありませんでした（p = 0.69）。一方、同期は報告された行為主体感に強く影響し、三条件すべての間に差がありました。
動くこと自体には影響がありました。SyncでもAsyncでも、動く顔では静止画に比べ、他者へ変化する際には早い段階で自分の顔ではないと判断し、自分へ変化する際には遅い段階で自分の顔だと判断しました。つまり、動く顔では静止した顔より、自分の顔と認識する範囲が狭くなりました。
同期が顔の同一性を決めなかった理由
論文では、この課題をデジタルな鏡像認知テストにたとえています。鏡で自分を認識するときには、自分の行為と見える動きのタイミングが一致するという随伴性の手がかりと、見える顔が記憶の中の自分の顔と一致するという形態の手がかりを組み合わせると考えられます。結果は、行為主体感を生む随伴性の手がかりが、顔の同一性を決めるわけではないことを示唆しています。顔の同一性や顔の所有感は、同期によって強まると先行研究で示された身体所有感とは、別の過程で働く可能性があります。影響が逆向きに働く可能性もあります。同期が行為主体感の評価に与える影響は、自分の顔から変化を始めたか、他者の顔から始めたかによって異なっており、知覚されたアイデンティティが行為主体感に影響することを示唆しています。動く顔の境界が狭いのは、二つの手がかりを統合するためかもしれません。ただし、この実験では、動きそのものと、それに伴う頭の姿勢の変化を切り分けられませんでした。
自分で動かしていなくても、自分の顔
Async条件の顔は、ランダムな遅延を伴うものの、参加者自身の動きを示していました。参加者は制御していると感じなくなっても、Syncと同じ程度にそれを自分の顔だと認識しました。この意味で、動く自分の顔の認識は、自分で動かすことに依存しませんでした。AIによる顔の生成やリアルタイム合成が広がると、顔の持ち主以外の人やシステムがその顔を動かせます。顔のアイデンティティがどう成立するかは、知覚だけでなくアイデンティティの保護にも関わる問いになります。動きを保ったまま顔のアイデンティティを変える本手法により、「動いている顔の自他境界」を調べ、静止画で得られたEnfacement illusionなどの知見を改めて検討できます。
Reference
Shunichi Kasahara, Nanako Kumasaki, and Kye Shimizu. 2024. Investigating the impact of motion visual synchrony on self face recognition using real time morphing. Scientific Reports 14, 1, Article 13090 (June 2024). https://doi.org/10.1038/s41598-024-63233-2
BibTeX
@article{10.1038/s41598-024-63233-2,
author = {Kasahara, Shunichi and Kumasaki, Nanako and Shimizu, Kye},
title = {Investigating the impact of motion visual synchrony on self face recognition using real time morphing},
journal = {Scientific Reports},
volume = {14},
number = {1},
year = {2024},
articleno = {13090},
publisher = {Springer Science and Business Media LLC},
doi = {10.1038/s41598-024-63233-2}
}Figures from the paper (Kasahara et al., Scientific Reports 2024), licensed under CC BY 4.0.
- News: The new paper is out from Nature Scientific Reports
- Related projects: Control over self and others’ face, Morphing Identity