Human Latent Metrics

Human Latent Metrics: Perceptual and Cognitive Response Correlates to Distance in GAN Latent Space for Facial Images

Kye Shimizu, Naoto Ienaga, Kazuma Takada, Maki Sugimoto, and Shunichi Kasahara
ACM SAP 2022

概要

敵対的生成ネットワーク（GAN）は、高次元の潜在空間にあるベクトルと画像を相互に対応づけます。技術の進歩により、実物と見分けにくい顔などの画像を生成するだけでなく、潜在空間のベクトル値を使って画像を操作できるようになりました。この対応は、潜在空間の距離を、人が画像をどう知覚し認識するかという距離へ変換する可能性を持っています。しかし、潜在空間の距離と人の知覚・認知の関係は明確ではありませんでした。そこで、顔画像の潜在ベクトルを操作する視覚心理実験を行いました。知覚の実験では、潜在空間で任意の距離だけ移動する前後の顔の変化に気づけるかを調べました。認知の実験では、移動後も同じ顔と認識できるかを調べました。結果として、潜在空間内の顔画像間の距離は、変化の知覚と認知の両方に相関し、ロジスティック関数でモデル化できました。この手法により、潜在空間の距離と人の知覚・認知の尺度を相互に変換し、人の感じ方を反映した画像処理につなげられる可能性があります。

潜在空間の距離は、人にとっての距離になるか

StyleGAN2のようなGANは、顔画像を高次元潜在空間のベクトルとして表します。ベクトルを移動すると顔を編集でき、二つのベクトルを補間すれば、一方の顔が他方へ滑らかに変わります。この移動と人の見え方の関係は、定性的にしか説明されていませんでした。私たちの先行研究Stealth Updatesも、GANによるモーフィングで気づかれずに画像を変えましたが、結果は潜在空間の距離ではなくモーフ率で示していました。そこで、顔が潜在空間を移動する距離が、人の変化の知覚や認識に対応し、単純なモデルで記述できるかを調べました。

同じモーフ画像を使う二つの課題

FFHQデータセットで学習したStyleGAN2で顔を生成し、不適切な画像を除き、背景を均一な灰色にして、各画像を再び潜在空間へ投影しました。250組の顔に対して31枚ずつの補間画像を作りました。これにより、すべての画像が潜在ベクトルに正確に対応し、画像の組み合わせごとに距離Δwが決まります。

Pipeline from seed to latent vector w, image selection with rejected and accepted faces, gray background filling, projection into an 18 × 512 dimensional latent space, and interpolated face sequences with their distances Δw — 刺激画像の生成。StyleGAN2で生成した顔を選別し、背景を灰色にして潜在空間へ再投影する。二つの潜在ベクトルを補間すると、距離Δwを長さとするモーフィング系列が得られる。

同じ画像を二つのオンライン実験に用いました。変化知覚課題（98名）では、四つの顔、66 msの空白、うち一つをΔwだけ変えた四つの顔を順に表示しました。参加者は変わった顔に対応するキー、または変化なしのキーを押しました。空白は変化盲の研究と同様に動きの手がかりを抑え、変化そのものを知覚できるかを測ります。顔認識課題（152名）では顔を一枚ずつ表示し、対象の顔が一枚または二枚を挟んで、Δwだけ変わった状態で再登場します。参加者は見たことのある顔だと認識したらキーを押しました。注意が不十分な参加者を除き、88名の2,560回答と138名の2,760回答を分析しました。

潜在空間における知覚と認知の距離

変化に気づく割合と、同じ顔と認識しなくなる割合は、いずれも潜在空間の移動距離に対してロジスティック曲線に沿って増加しました。潜在空間の距離を、知覚と認知の距離に変換できるということです。モデルの適合は高く、変化知覚・顔認識ともにMcFaddenのR²は0.92でした。同じ潜在空間の画像を使ったため、一つの距離Δwから、変化に気づく確率と、既に見た顔として認識する確率の両方を予測できます。生成モデルの潜在空間の距離が人の知覚・認知の尺度となり、相互に変換できるということが、タイトルの意味です。

Two plots against Δw: change perception rate rising from about 0.1 to over 0.85, and face recognition rate (reversed axis) falling from about 0.85 to under 0.2, each with individual responses, binned averages and a logistic curve — Δwに対する、変化知覚課題（左）と顔認識課題（右）の回答。点はΔwの区間ごとの平均、曲線はロジスティック回帰（どちらもMcFaddenのR² = 0.92）。認識の軸を反転し、両曲線が距離とともに上がるように表示している。

知覚と認識は、ベクトルの異なる部分に依存する

潜在ベクトルは512次元の層を18層持ち、各層は異なる視覚情報を担います。本研究の画像では、粗い層（1〜4）が形状と姿勢、中間層（5〜8）が顔立ち、細かい層（9〜18）が色とテクスチャーを変えます。

Two examples of morphing from one face to another with all layers, only coarse layers, only middle layers, or only fine layers interpolated — 潜在ベクトルの一部の層だけをモーフィングした例。粗い層は形状と姿勢、中間層は顔立ち、細かい層は色とテクスチャーを変える。

層ごとにモデルを当てはめると、二つの課題に異なる傾向が現れました。変化の知覚は、一般に大きな見た目の変化を生む下位層でよく説明できました。顔の認識は、粗い層より中間層でよく説明できました。同じ顔だと認識するかは、姿勢より顔立ちに強く依存するということです。論文では、一つの潜在空間で、知覚と認知という二つの視覚過程を説明できると解釈しています。

Line chart of R² for each of the 18 layers, for change perception (red) and face recognition (blue); face recognition is low at layer 1 and both drop sharply at layer 17 — 18層それぞれの距離が、変化知覚（CP、赤）と顔認識（FR、青）をどの程度予測するか。ロジスティック回帰のR²で示す。

人の感じ方を踏まえて画像を編集する

このモデルを使うと、潜在空間で編集する画像を、人がどう受け取るかに合わせて設計できます。例えば、年齢や性別を変えても60%など指定した割合で同一人物と認識される顔や、認識しやすさを保ちつつ本来の顔のアイデンティティを隠す表現が考えられます。論文はこの手順を、StyleGAN2や顔に限らず、学習された潜在空間と人の知覚・認知を結びつける一般的な方法として提示しています。ただし、今回の認識課題が測ったのは短期記憶のみです。

Reference

Kye Shimizu, Naoto Ienaga, Kazuma Takada, Maki Sugimoto, and Shunichi Kasahara. 2022. Human Latent Metrics: Perceptual and Cognitive Response Correlates to Distance in GAN Latent Space for Facial Images. In ACM Symposium on Applied Perception 2022 (SAP ’22). Association for Computing Machinery, New York, NY, USA, 1–10. https://doi.org/10.1145/3548814.3551460

BibTeX

@inproceedings{10.1145/3548814.3551460,
  author    = {Shimizu, Kye and Ienaga, Naoto and Takada, Kazuma and Sugimoto, Maki and Kasahara, Shunichi},
  title     = {Human Latent Metrics: Perceptual and Cognitive Response Correlates to Distance in GAN Latent Space for Facial Images},
  booktitle = {ACM Symposium on Applied Perception 2022},
  series    = {SAP '22},
  year      = {2022},
  pages     = {1--10},
  publisher = {Association for Computing Machinery},
  address   = {New York, NY, USA},
  doi       = {10.1145/3548814.3551460}
}

News: Full paper accepted to ACM SAP 2022
Related projects: Stealth Updates, Morphing Identity, Face boundary in action