[English | Japanese]

Animated Stickies: Fast Video Projection Mapping onto a Markerless Plane through a Direct Closed-Loop Alignment

Shingo Kagami and Koichi Hashimoto
IEEE Transactions on Visualization and Computer Graphics
IEEE International Symposium on Mixed and Augmented Reality (ISMAR2019)

YouTube

プロジェクタの高速化の研究が進み, 素早く動く物体に対して遅れなく映像をプロジェクションマッピングする技術が実現されています. しかし従来技術の多くでは, プロジェクタに対して運動追跡用カメラをあらかじめ精密に位置決めしておく必要があり, 設置・維持のコストが大きいという課題がありました.

事前の精密な位置決めを不要とするためには, 物体だけではなく投影コンテンツの像も画像追跡し, 両者のずれを最小化する処理をオンラインで実行し続ける閉ループ法が有効ですが, 投影コンテンツの重畳によって物体の追跡が妨げられてしまうという問題があり, 画像処理を簡単化するために物体として無地で既知形状の面を仮定したり, 物体にマーカを取り付けたりといった限定的な条件でのみ高速追跡が実現されてきました.

本研究では, 投影コンテンツ中にごく短時間だけ画像追跡用のパターンを埋め込み, そのパターン設計を工夫することにより, 1 枚のカメラ画像から物体追跡と投影コンテンツ追跡を分離して行うことで, 事前の位置合わせやキャリブレーションを不要とするプロジェクションマッピング手法を開発しました. CPU 上の実装は毎秒 400 フレームで動作し, 既開発の低レイテンシ DMD プロジェクタと組み合わせることで, HDMI から入力された動画像をさまざまなテクスチャを持つ平面上にまるで貼り付いているかのように追従投影することが可能となりました.

anim_stick_pipeline.png



  • Shingo Kagami and Koichi Hashimoto, Animated Stickies: Fast Video Projection Mapping onto a Markerless Plane through a Direct Closed-Loop Alignment (招待講演), 第23回 画像の認識・理解シンポジウム (MIRU 2020), August 5, 2020.

login