HeadLight

HeadLight: Egocentric Visual Augmentation by Wearable Wide Projector

Shunichi Kasahara
ACM SIGGRAPH 2018 Emerging Technologies

概要

実世界視覚拡張のための装着型Mixed Reality装置。広角変換レンズ、小型レーザープロジェクタ、ヘッドフォン、ヘッドトラッキング装置等で構成される。リアルタイム映像補正により、ユーザの視点から対角線上で最大131度の広角視覚投影を実現し、目を覆うことなく、人間の大部分の視野をカバーする映像投影を可能にする。さらに、ヘッドトラッキングと３次元空間情報によるプロジェクションマッピングによって、装着者が向いている方向へ投影された映像はその物理環境に存在しているように見える。

HeadLightが可能にする装着型の広視野角映像表示により、時間・空間感覚変化や人間が本来持ち得ない物理量知覚などを可能にする事を目指している

自分の視点から視界を拡張する

実環境への視覚拡張には、情報を表示する以上の可能性があります。見えない情報を可視化できれば、人間の知覚そのものを広げられるかもしれません。視覚拡張の有力な技術である光学透過型グラスは、視野角が約35度までで、情報表示には十分でも没入感のある拡張には足りません。プロジェクションマッピングは実世界に位置を合わせた没入型の表現ができますが、通常はプロジェクターが固定されているため、ユーザーの視点から世界を拡張できません。従来のウェアラブルプロジェクターも、投影範囲は狭いものでした。そこで、装着型のシステムで、本人の視点から視野の広い範囲を拡張する方法を探りました。

魚眼レンズを使った装着型プロジェクター

HeadLightは頭部に装着し、魚眼の広角変換レンズを付けた小型レーザープロジェクター、ヘッドフォン、位置・姿勢トラッカーで構成します。LEDプロジェクターは面に合わせた焦点調整が必要ですが、レーザープロジェクターは距離によらず鮮明な像を投影できます。使用したプロジェクター単体の投影角度は水平42.1度、垂直23.4度です。変換レンズにより、水平105度以上、垂直55度以上、対角で最大131度まで広がり、目を覆わずに人の視野の大部分をカバーできます。

The HeadLight headset on a mannequin head: a black shell that holds the projector, with a pose tracker at the back and headphones over the ears — HeadLightのヘッドセット。

レンズを通すと、投影像に強い糸巻き型の歪みが生じ、プロジェクターの主点もずれます。この歪みを魚眼モデルで表し、事前にパラメーターを調整します。出力する各画像に逆の歪みを与えることで、投影面では直線が直線として見えるようにします。

Top: a flat checkerboard sent to the projector, and its projection on a screen spread into a wide pincushion shape, labeled horizontal 105 degrees, vertical 55 degrees and maximum diagonal angle 131 degrees. Bottom: an inversely distorted checkerboard, and its projection on the screen with straight squares — 上：魚眼変換レンズで投影範囲は広がるが、入力した格子画像（A）はスクリーン上で糸巻き型に歪む（B）。下：HeadLightで逆方向に歪めた画像（A）を入力すると、スクリーン上の格子はまっすぐになる（B）。

位置・姿勢トラッカー（HTC Vive Tracker）でヘッドセットの回転と移動を追跡し、事前に求めた変換によってプロジェクターの位置と向きを得ます。建物の3Dモデルや点群といった実環境の三次元データを含むCGシーンを、その視点から描画し、レンズ補正を加えます。仮想空間と物理環境の整合性が保たれ、実世界のその場所に映像を重ねられます。

View captured from the user’s eye position: a wireframe mesh projected onto the sofas of a lounge, in line with their shapes — ユーザーの目の位置から撮影。部屋の三次元データから描画した映像が、実際のソファに重なる。

投影像が見える場所

HeadLightはユーザー自身の視点から投影し、頭の動きに合わせて像を描き直します。そのため、光が当たる面に縛られずに像の位置を知覚できます。凹凸のある面に平らな画面を見せる、物理的な表面に映像を重ねる、面より手前や奥に仮想物体を見せる、といった表現が可能です。

これが、一人称視点での投影の三つの設計です。仮想スクリーンモードでは、距離の異なる複雑な面に投影しても、ユーザーは投影画像そのものを見られます。位置合わせ描画モードでは、見ている環境の三次元データを描画し、映像が物理的な表面上にあるように見せます。空間描画モードでは、頭の動きに合わせて像を変え、運動視差をつくります。この視差から奥行きを感じるため、実際の投影面の配置によらず、面の手前や奥に仮想物体があるように知覚します。

Views captured at the user’s eye position: (A) a rectangular video screen projected across a wall and a column; (B) a wireframe mesh lying on a sofa; (C) three frames of wireframe boxes projected in a dark room, seen from changing head positions — 三つの一人称投影の設計。いずれもユーザーの目の位置から撮影。（A）仮想スクリーンモード。（B）位置合わせ描画モード。（C）空間描画モードでの連続した動き（1〜3）。

View captured from the user’s eye position: wireframe boxes projected in a dark room shift with the head movement — 目の位置から撮影した空間描画モード。頭を動かすと、運動視差によって仮想の箱が投影面より手前や奥に見える。

人間には見えないものを知覚する

私たちの生活や環境は、人間の知覚能力を前提に設計されています。一方、実世界には異なる感覚能力を持つ生物が数多くいます。技術によってその能力を取り入れられれば、新たな視点から世界を捉えられるでしょう。HeadLightの没入型一人称プロジェクションマッピングでは、人が知覚できない物理現象を表現できます。例えば、空気力学を可視化して周囲の空気の流れを感じたり、周辺の三次元データを使い、壁の向こうを透かして見るようなX線風の視覚拡張を行ったりできます。

Three views of a lounge in which a vertical strip of a wall shows projected graphics of the space behind it, including colored spheres — X線のシミュレーション（A〜C）。周囲の三次元データを使い、壁の向こう側が透けて見えるようにする。

現在の試作には二つの限界があります。既存のレーザープロジェクターに変換レンズを付けているため光量が限られますが、HeadLight専用のプロジェクターを設計すれば改善できます。また、追跡できる範囲は部屋程度の広さに限られています。この制約は、インサイドアウト方式の追跡装置によって解消できると期待しています。

展示・クレジット

SXSW 2018での展示プレビュー。

A person wearing HeadLight in a dark room, with white lines and particles projected across the walls around them

A person wearing HeadLight facing a wall covered with projected colored triangles

A person wearing HeadLight in front of a curved wall with projected colored fragments

Visual system (collaboration): Satoru Higa (比嘉了)
Sound design: Shotaro Hirata
Hardware design: Tetsuya Konishi (小西哲哉)

Reference

Shunichi Kasahara. 2018. HeadLight: Egocentric Visual Augmentation by Wearable Wide Projector. In ACM SIGGRAPH 2018 Emerging Technologies (SIGGRAPH ’18). Association for Computing Machinery, New York, NY, USA, Article 10, 1–2. https://doi.org/10.1145/3214907.3214926

BibTeX

@inproceedings{10.1145/3214907.3214926,
  author    = {Kasahara, Shunichi},
  title     = {HeadLight: Egocentric Visual Augmentation by Wearable Wide Projector},
  booktitle = {ACM SIGGRAPH 2018 Emerging Technologies},
  series    = {SIGGRAPH '18},
  year      = {2018},
  articleno = {10},
  pages     = {1--2},
  publisher = {Association for Computing Machinery},
  address   = {New York, NY, USA},
  doi       = {10.1145/3214907.3214926}
}

Related project: Fragment Shadow