Stealth Updates of Visual Information by Leveraging Change Blindness and Computational Visual Morphing
Shunichi Kasahara and Kazuma Takada
ACM Transactions on Applied Perception (TAP) 2021, presented at ACM SAP 2021
Paper (ACM Digital Library) · PDF
概要
変化盲と計算機で生成したモーフ画像を組み合わせ、気づかれずに視覚情報を更新する方法を提案します。モーフィングによって意図的に変化の検出を抑えるため、空白、まばたき、段階的な変化という三つの時間的な条件で、変化への気づきを調べました。33.3 ms以上の空白とまばたきでは、安定して変化盲が起きる傾向が見られました。小さな変化を段階的に加える実験では、別人への顔の変化が平均57%まで進むまで気づかれませんでした。さらに、全試行の10%以上では最後まで変化に気づかれませんでした。これらは、ユーザーの注意を消費せずに視覚情報を更新する設計につながる知見です。
注意を引かずに表示を更新する
身の回りのディスプレイやARグラスのような装着型ディスプレイは、情報を最新に保てます。しかし更新のたびに見た目が変わり、その変化がユーザーの作業から注意をそらします。視覚情報を、注意を引かずに更新する方法を探りました。
手がかりは変化盲です。短い空白、眼球運動、まばたきなどによって変化に伴う瞬間的な視覚信号が隠されると、人は明らかな変化にも気づかないことがあります。ただし、それだけでは大きな変化は隠せません。今見えるものと視覚的な短期記憶を比較して検出できるためです。そこで中間画像を計算で生成し、短い中断のたびに小さく変化させる方法を取りました。その設計のため、一回の変化量とタイミングが、気づきやすさにどう影響するかを調べました。
顔、情景、文章を変化させる
三種類の視覚情報について変化の系列を生成しました。顔はStyleGAN2の潜在空間の二点間を補間し、その他の画像（風景、動物、食べ物、日用品）はBigGANを使いました。文章は画素単位で補間できないため、短い映画レビューの名詞、形容詞、動詞を、BERTで文脈に合う単語に一つずつ置き換えました。変化率は、全体の変化のうち一回で適用する割合です。顔では0.05や0.1の変化なら同一人物に見えますが、0.5では別人に見えます。
空白とまばたき
第1実験では12名が240 Hzディスプレイで四つの画像を見ました。最長266.7 msの灰色の空白、または空白なしの後、一つの画像を変え、参加者は変わった画像のキーを押すか、変化なしと回答しました。三種類すべてで、空白が長くなるほど検出率が急減し、33.3 ms以上でほぼ一定になりました。小さい変化（変化率0.1）では、60 Hzディスプレイの1フレームに当たる16.7 msでも十分で、さらに長く気を散らす中断は不要でした。顔とその他の画像では、大きい変化（0.5）は小さい変化よりはるかに検出されやすい一方、文章では変化量による差がありませんでした。
33 msの空白は、一般的なまばたきより短い時間です。第2実験では同じ参加者の自然なまばたきを毎秒140フレームのカメラで検出し、その間に画像を変えました。小さい変化の検出率は、顔と文章で10%、その他の画像で12%と、33 ms以上の空白と同程度でした。参加者は課題に集中していても、いつ変わったか分からなかったと話しました。まばたきは、見える中断を加えずに、空白と同じように変化を隠せます。
小さな変化を重ねる
二つの実験で、一回の小さい変化が検出されたのは約10%の試行だけでした。次に、その変化を繰り返すと、どこまで変えられるかを調べました。第3実験は18名がオンラインで参加しました。自然なまばたきに近い2.5秒ごとの66.6 msの空白中に、四つの画像の一つを、全体の0.05、0.1、0.5ずつ変えました。参加者は、変化している画像が分かったらすぐキーを押すよう指示され、変化を探していました。顔とその他の画像には、空白を挟まず25秒または50秒かけて連続的に変える条件も設けました。全体の速度は、0.1または0.05ずつ変える条件と同じです。気づくまでに変化が進んだ割合をstealth scoreとして測定し、1.0は最後まで気づかなかったことを表します。
気づかれずに別人の顔へ変える
短い空白の間に小さな変化を重ねると、一回の変化量をはるかに越えても気づかれませんでした。別人の顔へ平均57%変化するまで気づかれず、全試行の10%以上は最後まで気づかれませんでした。別人に見える0.5の変化を平均で既に越えていたにもかかわらず、参加者は、まさにその変化を探している最中でも気づかなかったのです。
一段階の大きさの影響は、情報の種類で異なりました。顔では、0.5ずつの大きな変化は早く気づかれ（平均stealth score 0.30）、0.05ずつに小さくしても0.1より改善しませんでした。小さくすると同じ変化に多くの段階が必要で、そのたびに気づく機会が生じるためと考えられます。最初の二実験で一回の変化量が影響しなかった文章では逆に、段階が大きいほどscoreが0.42、0.53、0.78と上がり、段階数が重要だったことを示唆します。その他の画像では一貫した影響がありませんでした。一つの食べ物画像の変化を見つけると、似た画像でどこを見るかが分かる人や、画像生成に特有の不自然な部分を手がかりにする人もいました。
同じ変化を空白なしで連続的に見せると、早い段階で気づく傾向があり、参加者も連続モードの方が簡単だと話しました。人は、徐々に続く変化よりも、空白やまばたきを挟んで分割された変化に敏感ではないようです。
大きな変化に気づかない理由
空白やまばたきは、注意を引く瞬間的な視覚信号をなくすため、変化の検出には、現在の画像と以前の記憶との比較が必要です。私たちは、各更新がその記憶も上書きすると考えています。人は完全な視覚表象を二つ同時に保持できないことが先行研究で示され、変化盲の仕組みの一つとされています。第3実験では、変化するものを含む四つの画像が見え続けました。そのため元の顔の記憶も顔とともに更新され、全体として大きく変わっても、気づくための手がかりがなくなったと考えられます。
この知見から、気づかれにくい更新の設計条件が得られます。小さな変化には1フレームの空白で十分で、まばたきを自然な空白として使えます。また、一段階の大きさと段階数のバランスが必要です。注意と視線を考慮して情報を配置・更新することで、ARグラスなどの表示を、ユーザーの注意を消費せずに最新に保つ設計につなげられます。
ACM SAP 2021での講演
Reference
Shunichi Kasahara and Kazuma Takada. 2021. Stealth Updates of Visual Information by Leveraging Change Blindness and Computational Visual Morphing. ACM Transactions on Applied Perception 18, 4, Article 23 (October 2021), 17 pages. https://doi.org/10.1145/3486581
BibTeX
@article{10.1145/3486581,
author = {Kasahara, Shunichi and Takada, Kazuma},
title = {Stealth Updates of Visual Information by Leveraging Change Blindness and Computational Visual Morphing},
journal = {ACM Transactions on Applied Perception},
volume = {18},
number = {4},
year = {2021},
articleno = {23},
pages = {1--17},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
doi = {10.1145/3486581}
}Figures from the paper (Kasahara and Takada, ACM TAP 2021). © 2021 Copyright held by the owner/author(s). Publication rights licensed to ACM.