[English | Japanese]

高速ビジョンとリアルタイムセンサ情報処理

鏡准教授グループでは,高速視覚処理を基盤技術として, ロボットや情報デバイスが実世界の情報をリアルタイムに獲得・認識するための方法やシステムの研究を行っています.

特に,人間の知覚能力を超える速さの画像獲得・映像提示を行う高速ビジョンシステム,高速プロジェクタシステムの研究と,それらを含むリアルタイムビジョンのロボティクス,ユーザインタフェース等への応用の研究に注力しています.

研究成果

 

フルカラー高速ホモグラフィ変換プロジェクタ

3.jpg

https://www.youtube.com/watch?v=T00LxDEbbB4

詳細情報

  • Shingo Kagami and Koichi Hashimoto, A Full-Color Single-Chip-DLP Projector with an Embedded 2400-fps Homography Warping Engine. SIGGRAPH 2018 Emerging Technologies, 2018.
  • 鏡 慎吾, 橋本 浩一, フルカラー高速ホモグラフィ変換プロジェクタ, 日本機械学会ロボティクス・メカトロニクス講演会 (ROBOMECH 2018), 2P2-I17, 2018.
 

Sticky Projection Mapping: 動く平面への高速プロジェクションマッピング

1.jpg

https://www.youtube.com/watch?v=LUNyGulF00Q

  • 鏡 慎吾, 橋本 浩一, Sticky Projection Mapping: 動く平面への高速追従投影, 第33回日本ロボット学会学術講演会, 2J2-05, 2015.
  • Shingo Kagami, Koichi Hashimoto, Sticky Projection Mapping: 450-fps Tracking Projection onto a Moving Planar Surface, 8th ACM SIGGRAPH Conference and Exhibition on Computer Graphics and Interactive Techniques in Asia (SIGGRAPH Asia 2015 Emerging Technologies), Article No. 23, 2015. (link)
 

2次元地図とカメラ画像を併用するモバイル歩行者ナビゲーション

2.jpg

https://www.youtube.com/watch?v=gOlOzfTnskQ

  • Junta Watanabe, Shingo Kagami, Koichi Hashimoto, Photo Billboarding: A Simple Method to Provide Clues that Relate Camera Views and a 2D Map for Mobile Pedestrian Navigation, 14th IEEE International Symposium on Mixed and Augmented Reality (ISMAR 2015), 2015. (link)
 

高速回転するゴルフボールの画像計測

  • 今井 悠太, 鏡 慎吾, 橋本 浩一, ディンプル中心点の位置合わせを利用した高速回転ゴルフボールの画像計測, 計測自動制御学会システムインテグレーション部門講演会, 2015.
  • 今井 悠太, 鏡 慎吾, 橋本 浩一, 高速回転するゴルフボールの運動計測のためのディンプル画像解析, 日本機械学会ロボティクス・メカトロニクス部門講演会, 2015.
  • 今井 悠太, 鏡 慎吾, 橋本 浩一, 高速回転するゴルフボールの画像計測に関する基礎検討, 計測自動制御学会システムインテグレーション部門講演会, 2014.
 

映像中に埋め込まれた短時間マーカフレームに対する撮像タイミング同期

3.jpg

https://www.youtube.com/watch?v=VFtR9MClLxg

  • Hidetaka Niidome, Shingo Kagami, Koichi Hashimoto: Camera Synchronization to Imperceptible Frames Embedded in a Displayed Video Sequence, 7th ACM SIGGRAPH Conference and Exhibition on Computer Graphics and Interactive Techniques in Asia (SIGGRAPH Asia 2014 Posters), Article no.25, 2014. (link)
 

モバイルプロジェクタの動きを利用するユーザインタフェース

3.jpg

https://www.youtube.com/watch?v=LDLLD96_l-E

  • Keima Abe, Shingo Kagami, Koichi Hashimoto: Hit-to-scroll: A Scroll Interface Utilizing Impacting Motions for a Handheld Projector, 7th ACM SIGGRAPH Conference and Exhibition on Computer Graphics and Interactive Techniques in Asia (SIGGRAPH Asia 2014 Posters), Article no.16, 2014. (link)
  • 阿部 圭馬, 鏡 慎吾, 橋本 浩一, モバイルプロジェクタの動きを利用する映像シークインタフェース, ヒューマンインタフェースシンポジウム2013, 2531P, 2013.
  • 今井 博之, 鏡 慎吾, 橋本 浩一: モバイルプロジェクタカメラを用いた投影面の傾斜に応じた視覚情報提示, 計測自動制御学会東北支部第264回研究集会, 264-8, 2011.
 

シート状柔軟物体の位置合わせのためのビジュアルサーボ

  • Shingo Kagami, Kotaro Omi, Koichi Hashimoto, Alignment of a Flexible Sheet Object with Position-based and Image-based Visual Servoing, to appear in Advanced Robotics, 2016.
  • 小見 耕太郎, 鏡 慎吾, 橋本 浩一: 位置ベース・画像ベース混合ビジュアルサーボによるシート状柔軟物体の位置合わせ, 日本ロボット学会学術講演会, 2014.
 

高速運動点の画像計測における動きぼけのモデリングと補償

  • Edouard Laroche, Shingo Kagami, Loic Cuvillon: Modeling and Compensation of Dynamic Effects in Camera-Based Position Measurement, Robotics and Autonomous Systems, Vol.62, No.8, pp.1175-1186, 2014.
 

Kinectによる人物姿勢情報を用いた慣性センサ所持位置と向きの推定

  • 進藤康孝, 鏡慎吾, 橋本浩一: 人物の姿勢情報を用いた加速度・角速度センサの所持位置と向きの推定, 電子情報通信学会技術研究報告, ASN2013-4, 2013.
 

複数導電部を持つ物理オブジェクトによるタッチスクリーンインタフェース

  • 青木 良輔, 宮下 広夢, 槙 優一, 千明 裕, 井原 雅行, 小林 稔, 小林 透, 鏡 慎吾: 複数導電部を持つ物理オブジェクトとマルチタッチスクリーンを組合せたe-ラーニング向けユーザインタフェース, 情報処理学会論文誌, Vol.54, No.1, pp.55-65, 2013.
 

投影像の幾何拘束を利用したモバイルプロジェクタカメラの位置姿勢推定

  • 今井 博之, 鏡 慎吾, 橋本 浩一: 投影像の幾何拘束を利用したモバイルプロジェクタカメラの位置姿勢推定, 第13回計測自動制御学会システムインテグレーション部門講演会, 3F4-5, 2012.
 

歯車部品組み付けのためのビジュアルサーボ

3.jpg

https://www.youtube.com/watch?v=ayGNYkCgSMo

  • Kenji Matsunaga, Shingo Kagami, Koichi Hashimoto: Assembly of Gear Components with Monocular Eye-to-Hand Visual Servoing, 43rd International Symposium on Robotics, 2012.
 

ワイヤハーネスの軌道追従のためのビジュアルサーボ

3.jpg

https://www.youtube.com/watch?v=0eIyEaSWmvQ

  • Masaru Morita, Shingo Kagami, Koichi Hashimoto, Kazuhiro Kosuge: Marker-less 6-DoF Pose Estimation of Industrial Wire-Harness Components from Shapes in 2-D Images, 43rd International Symposium on Robotics, 2012.
  • 森田 賢, 鏡 慎吾, 橋本 浩一, 小菅 一弘: ワイヤハーネス部品の教示軌道追従のためのビジュアルサーボ, 計測自動制御学会東北支部第271回研究集会, 271-4, 2012.
 

予測軌道を表示する拡張現実エアホッケーシステム

3.jpg

https://www.youtube.com/watch?v=EZehtRRzaeo

  • Yusuke Arai, Shingo Kagami, Koichi Hashimoto: Experimental Studies on Prediction in Air Hockey Games, 2011 IEEE/SICE International Symposium on System Integration, pp.112-117, 2011.
  • 荒井 勇亮, 鏡 慎吾, 橋本 浩一: 高速ビジョンシステムを用いたリアルタイム運動予測表示 --予測軌道を表示するエアホッケーシステム--, 日本機械学会ロボティクス・メカトロニクス講演会2012, 2P1-Q04, 2012.
 

一筆書きジェスチャによる入力インタフェース

  • Ryosuke Aoki, Masayuki Ihara, Atsuhiko Maeda, Minoru Kobayashi, Shingo Kagami: Expanding Kinds of Gestures for Hierarchical Menu Selection by Unicursal Gesture Interface, IEEE Transactions on Consumer Electronics, Vol.57, No.2, pp.731-737, 2011.
  • Ryosuke Aoki, Bessie Chan, Masayuki Ihara, Toru Kobayashi, Minoru Kobayashi, Shingo Kagami: A Gesture Recognition Algorithm for Vision-based Unicursal Gesture Interfaces, 10th European Conference on Interactive TV and Video, pp.53-56, 2012.
 

高速プロジェクタ・カメラシステムを用いた注目点の3次元位置・法線の計測と実世界ゲームへの応用

3.jpg

https://www.youtube.com/watch?v=ziLHPq-pi2U

  • 戸澗 宏太, 鏡 慎吾, 橋本 浩一: 高速プロジェクタ・カメラシステムによる3次元計測と実世界インタラクションゲームへの応用, 日本バーチャルリアリティ学会論文誌, Vol.16, No.2, pp.251-260, 2011.
  • Kota Toma, Shingo Kagami, Koichi Hashimoto: 3D Measurement of a Surface Point Using a High-Speed Projector-Camera System for Augmented Reality Games, 2010 IEEE/SICE International Symposium on System Integration, pp.84-89, 2010.
 

高速プロジェクタ・カメラシステムによる3次元形状の力覚提示

3.jpg

https://www.youtube.com/watch?v=B8uds_4pZ08

  • Kota Toma, Shingo Kagami, Koichi Hashimoto: Real-Time Virtual Haptization of an Object Surface Measured by a High-Speed Projector-Camera System, 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.5067-5072, 2010.
 

リアルタイムにスローモーション映像を生成する拡張現実感システム

3.jpg

https://www.youtube.com/watch?v=4gOl9IYbL7o

  • Tatsuro Orikasa, Shingo Kagami, Koichi Hashimoto: Time-Domain Augmented Reality Based on Locally Adaptive Video Sampling, IEEE International Symposium on Mixed and Augmented Reality 2010, pp.261-262, 2010.
  • 折笠 達郎, 鏡 慎吾, 橋本 浩一: 映像の局所的適応サンプリングによる時間領域拡張現実感システム, 画像の認識・理解シンポジウム2010, pp.707-713, 2010.
 

Range-Finding Projectors: センサを用いない距離情報の可視化

3.jpg

https://www.youtube.com/watch?v=YuXJBdBgexE

  • Shingo Kagami: Range-Finding Projectors: Visualizing Range Information without Sensors, IEEE International Symposium on Mixed and Augmented Reality 2010, pp.239-240, 2010.
 

アドホック視覚センサネットワークにおける視野接続推定

fspartit.png

カメラの小型化・低コスト化が進んだことにより, 多数の無線接続カメラを無造作に配置するアドホックな視覚センサネットワークの実現が現実のものとなりつつある. 広域モニタリングや災害救助への応用が期待される. 視覚センサ間の相互協調のためには, センサ間の物理的隣接関係だけではなく, 視野を共有するセンサ同士を結ぶ論理的な接続関係を適切かつ効率よく確立することが重要となる. 本研究では, SIFT特徴点の対応づけに基づいて視野接続関係を推定する際に, その対応点探索処理を複数のセンサノードに効率よく分散化するための手法を提案している.

  • Shin Kondo, Shingo Kagami, Koichi Hashimoto: Scalable Vision Graph Estimation for a Vision Sensor Network, 2009 IEEE International Conference on Robotics and Biomimetics, pp.865-870, 2009.
 

カメラ撮像タイミングの変調照明を用いた同期

camsync.jpg

https://www.youtube.com/watch?v=-J_4lb21ogs

複数のカメラで運動する対象を計測する場合, 各カメラの撮像タイミングが同期されていることが重要となる. 本研究では, 強度変調された照明光にカメラの撮像タイミングを同期させるための手法を提案している. カメラ内部にソフトウェアによる位相同期ループ(PLL)を構成し, 画像から読み取る照明変化成分を入力, 撮像タイミングを出力とすることで, 同期を実現している.

  • Lei Hou, Shingo Kagami, Koichi Hashimoto: Illumination-Based Synchronization of High-Speed Vision Sensors, Sensors, Vol.10, No.6, pp.5530-5547, 2010.
  • Lei Hou, Shingo Kagami, Koichi Hashimoto: A Signal Normalization Technique for Illumination-Based Synchronization of 1,000-fps Real-Time Vision Sensors in Dynamic Scenes, Sensors, Vol.10, No.9, pp.8719-8739, 2010.
 

高速DMDプロジェクタによる動きぼけの少ない映像投影

dmdblur.png

液晶や Digital Micromirror Device (DMD) のようないわゆるホールド表示方式のディスプレイは, ブラウン管に代表されるインパルス表示方式に比べて動画像の表示に弱いとされる. また,DMDのようにパルス幅変調により輝度を表現する方式の場合, 液晶ディスプレイで採用されている倍速駆動法の適用は困難である. 本研究では, 輝度を表現する変調パルス系列を映像の動きに沿って高速移動させながら提示することで, 動きぼけを低減する方法を提案している. 倍速駆動法と比べて小さなデータレートで動きぼけを低減することができる.

  • 井上 智之, 鏡 慎吾, 橋本 浩一: 高速DMDプロジェクタを用いた動きボケの少ない映像投影, 日本機械学会ロボティクス・メカトロニクス講演会2008, 2P2-E15, 2008.
  • 吉越 太郎, 鏡 慎吾, 橋本 浩一: DMDプロジェクタのための動きボケ低減手法の評価, 計測自動制御学会東北支部第264回研究集会, 264-7, 2011.
 

指タッピングの同期精度向上のための視覚刺激提示

  • 野村 英祐, 鏡 慎吾, 橋本 浩一: 指タッピングの同期精度向上のための視覚刺激提示, 計測自動制御学会東北支部第249回研究集会, 249-7, 2009.
 

食器洗浄・収納パートナロボットのための画像処理システム

  • Kazuhiro Kosuge, Yasuhisa Hirata, Jina Lee, Akira Kawamura, Koichi Hashimoto, Shingo Kagami, Yu Hayashi, Norio Yokoshima, Hiroshi Miyazawa, Ryosuke Teranaka, Yasutoshi Natsuizaka, Kazuhisa Sakai, Mizuo Koizumi, Junji Koyama, Naoki Kanayama, Shunichi Tezuka, Hiroshi Torimitsu: Development of an Automatic Dishwashing Robot System, IEEE International Conference on Mechatronics and Automation 2009, pp.43-48, 2009.
  • 林 悠, 野村 英祐, 鏡 慎吾, 橋本 浩一: スリットレーザを用いた画像に基づくガラス食器の認識手法の検討, 計測自動制御学会東北支部第236回研究集会, 236-13, 2007.
  • 野村 英祐, 林 悠, 鏡 慎吾, 橋本 浩一: 画像上の輪郭特徴量を用いた食器認識システム, 計測自動制御学会東北支部第236回研究集会, 236-12, 2007.
 

加速度センサを有する運動物体の画像内からの識別

3.jpg
2.jpg

https://www.youtube.com/watch?v=-eZxFheuD9U
https://www.youtube.com/watch?v=6b_aM-u0KFM

携帯電話等のモバイルデバイスの位置検出は, コンテキスト依存サービス等を実現するために重要な技術であるが, いまだに決定打といえるものがない状況である. 本研究では, 最近のモバイルデバイスの多くが加速度センサを搭載するようになったことに着目し, 環境に設置された固定カメラにより検出された動き情報と, 加速度センサからの信号の相関を計算することにより, 両者の対応づけを行う方法を提案した. 加速度センサの向きが未知でかつ動的に変化する場合でも, 重力加速度成分を補償しつつ,正しく対応づけを求めることができる. 多数の特徴点に対する評価をビデオレートで計算することができる.

  • Osamu Shigeta, Shingo Kagami, Koichi Hashimoto: Identifying a Moving Object with an Accelerometer in a Camera View, 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.3872-3877, 2008. (PDF)
  • Yuichi Maki, Shingo Kagami, Koichi Hashimoto: Accelerometer Detection in a Camera View Based on Feature Point Tracking, 2010 IEEE/SICE International Symposium on System Integration, pp.448-453, 2010.
  • 佐藤 俊一, 鏡 慎吾, 橋本 浩一: 独立性に基づく画像情報と加速度センサ情報の対応付けに関する検討, 計測自動制御学会東北支部第277回研究集会, 277-2, 2012.
 

ネットワークを介した高速ビジュアルフィードバックシステム

tracknet.jpg

https://www.youtube.com/watch?v=yRxY3RTMpEs

高負荷なネットワークを介して 1000 fps の高速ビジュアルフィードバック制御を実現した. 高速ビジョンシステム VCS-IV から送信される UDP パケットは, 優先度制御機能つき Gigabit Ethernet スイッチにより優先してアクチュエータ制御 PC に転送される.PC側では,ネットワーク処理がリアルタイムOSの種類やバージョンに依存するのを避けるため,PC外にネットワーク処理専用のハードウェアを用意し,共有メモリを介してパケットの授受を行っている.

  • Shingo Kagami, Shoichiro Saito, Takashi Komuro, Masatoshi Ishikawa: A Networked High-Speed Vision System for 1,000-fps Visual Feature Communication, First ACM/IEEE International Conference on Distributed Smart Cameras, pp.95-100, 2007. (PDF)
  • Daisuke Wako, Shingo Kagami, Koichi Hashimoto: 1,000-fps Visual Feedback Control of an Active Vision System over a High-Load Network, IAPR 11th Conference on Machine Vision Applications, pp.114-117, 2009.
 

高速ビジョンシステムのための動的再構成可能プロセッサアーキテクチャ

reconf.jpg

高フレームレートのビジョンシステムをターゲットとした動的再構成可能プロセッサのアーキテクチャを提案した. リアルタイムビジョンで用いられる画像処理の多くが, 処理の後段に進むに従って扱うデータ量が小さくなっていくことに注目し, データ量が大きいうちは演算パイプライン型で, データ量が小さくなってからは画素レベルSIMD型で処理を行うようアーキテクチャの再構成を行う. 両者を無駄なく統合できるよう, PEアレイ上でALUネットワークとメモリネットワークのそれぞれを独立して構成できる点を特徴とする.

  • Nao Iwata, Shingo Kagami, Koichi Hashimoto: A Dynamically Reconfigurable Architecture Combining Pixel-Level SIMD and Operation-Pipeline Modes for High Frame Rate Visual Processing, IEEE International Conference on Field-Programmable Technology 2007, pp.321-324, 2007. (PDF)
 

高速プロジェクタ・カメラを用いた形状特徴追跡システム

nearest.jpg

https://www.youtube.com/watch?v=DGvaHAZimVA

高速プロジェクタ・カメラシステムを用いて, 対象の3次元形状特徴に基づく追跡システムを構築した. 高速ビジョンから得られた情報に基づく 1000 fps の視覚フィードバックにより, 高速プロジェクタからの投影パターンを動的に制御している. 具体的な形状特徴として,対象の表面のうちカメラに最も近い点の追跡を実現した.

  • Tomoyuki Inoue, Shingo Kagami, Joji Takei, Koichi Hashimoto, Kenkichi Yamamoto, Idaku Ishii: High-Speed Visual Tracking of the Nearest Point of an Object Using 1,000-fps Adaptive Pattern Projection, 2007 IEEE International Workshop on Projector-Camera Systems, 2007. (PDF)
 

高速プロジェクタ・カメラによる 3,000 fps の3次元形状計測

procam.jpg

https://www.youtube.com/watch?v=M2IwTWUign0

高フレームレートのプロジェクタと高速度カメラを用いた構造光投影法により, 256x256画素で3,350 fps,1024x1024画素で500 fpsの高速3次元形状計測を実現した. プロジェクタから投影されるパターンを, 不連続境界を考慮しながら画像上で追跡する手法を提案している.

  • Joji Takei, Shingo Kagami, Koichi Hashimoto: 3,000-fps 3-D Shape Measurement Using a High-Speed Camera-Projector System, 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.3211-3216, 2007. (PDF)
 

フレーム送信の中断・再開に基づくリアルタイムイーサネット

rtether.jpg

従来はリアルタイム通信には不向きとされてきた Ethernet であるが,優先度制御が標準化されたことによりそのリアルタイム性能は大幅に改善している.本研究では,いわゆるフレームプリエンプション技術を Ethernet に取り入れるための方法を提案し,ロボット制御に必要なミリ秒オーダのリアルタイム性が 100 Mbps のワイヤスピードでも実現できることを示した.

  • 青木 良輔, 鏡 慎吾, 橋本 浩一: 標準イーサネットと接続可能なリアルタイムネットワークの提案, 日本機械学会ロボティクス・メカトロニクス講演会2006, 2P2-C16, 2006.
 

通信遅延を考慮したカルマンフィルタによるセンサフュージョンとセンサ選択

  • Shingo Kagami, Masatoshi Ishikawa: A Sensor Selection Method Considering Communication Delays, 2004 IEEE International Conference on Robotics and Automation, pp.206-211, 2004.
  • 鏡 慎吾, 石川 正俊: 通信遅延を考慮したセンサ選択手法, 電子情報通信学会論文誌(A), Vol.J88-A, No.5, pp.577-587, 2005.
 

スマートカメラ型高速ビジョンプラットフォーム VCS-IV

vcs4.jpg

https://www.youtube.com/watch?v=qqGCg8JpBGI

1000 frames/s を超える高速なリアルタイムビジョンを実現するスマートカメラ型のプラットフォームを開発している.機能ごとに分離されたモジュラーな構造を取ることで,段階的な拡張を可能としている.

  • 鏡 慎吾, 小室 孝, 渡辺 義浩, 石川 正俊: ビジョンチップを用いた実時間視覚処理システム VCS-IV, 電子情報通信学会論文誌(D-I), Vol.J88-D-I, No.2, pp.134-142, 2005. (PDF)
  • Shingo Kagami, Takashi Komuro, Masatoshi Ishikawa: A High-Speed Vision System with In-Pixel Programmable ADCs and PEs for Real-Time Visual Sensing, 8th IEEE International Workshop on Advanced Motion Control, pp.439-443, 2004.
  • 鏡 慎吾, 小室 孝, 藤村 英範, 石川 正俊: ディジタルビジョンチップのためのソフトウェア A-D 変換手法, 映像情報メディア学会誌, Vol.57, No.3, pp.385-390, 2003.
 

login