Hamamoto Laboratory

過去に行ってきた、また現在行っている研究の概要について一部紹介します。

イメージセンサに関する研究

時空間方向に異なるサンプリングを行うイメージセンサ

現在主流のイメージセンサでは、すべての画素で露光時間を調節することで暗いシーンや明るいシーンにおいて画像を撮影することが可能となっています。しかしながら、イメージセンサの特性上、明暗差が大きいシーンでは白とびや黒つぶれのような問題が生じてしまう問題を持っています。

本研究室では、イメージセンサの各画素で異なる露光時間により撮像することができるイメージセンサを提案しました。このイメージセンサでは、明るさの異なる複数枚の画像を同時に取得しすることができます。これらの画像を合成処理することで、明暗差の大きいシーンでも白とびや黒つぶれが発生しない画像の取得を実現しました。

極小容量を用いた電荷電圧変換回路による高感度イメージセンサ

車載・監視用途のイメージセンサにおいては、暗闇でも鮮明な映像が取得可能（高感度）であることが望まれます。そこで、私達は、極小容量を用いた電荷電圧変換回路（CTIA回路）によって、微小な電荷から大きな電圧を得ることで、イメージセンサの高感度化を目指しています。

従来のCTIA回路を用いたイメージセンサは、フォトダイオードから発生した少しの電荷で、すぐに回路内の容量が一杯になってしまう問題があるため、蛍光イメージングやスタートラッカー等のごく低照度環境における特殊な用途でしか使用されてきませんでした。

そこで本研究では、このCTIA回路を一般的用途向けの画素回路と組み合わせることで、低照度な環境では高感度な画像が取得でき、かつ通常の照度下でも一般的用途向けの画素回路と同等の品質の画像を取得できるイメージセンサの実現に取り組んでいます。

画像処理システムに関する研究

多眼撮像装置を用いた画像処理システムに関する研究

近年、複数のカメラを並列に配置した多眼カメラシステムの研究が盛んにおこなわれています。このカメラシステムでは、自由視点画像の生成や被写体までの距離を取得できる特徴を持っています。

本研究室では、この技術を応用した各カメラの撮像特性の異なる多眼カメラシステムを提案しました。このシステムでは、各カメラの光の蓄積時間の異なることで、視点ごとに異なる明るさの画像を取得することができます。これらの画像を統合することで、広ダイナミックレンジな自由視点画像を合成することが可能になります。

近赤外画像を用いた低照度環境下における鮮明なカラー画像の取得

近年、防犯カメラや車載カメラの普及に伴い、夜間において鮮明なカラー画像を取得するための研究が行われています。通常、夜間のような低照度環境下で撮影された画像はノイズにより劣化します。

そこで本研究室では、近赤外画像を利用して低照度環境下でノイズが少ないカラー画像を取得するためのカメラシステムを開発しています。近赤外画像は、低照度環境下においても近赤外の照明を利用することでノイズによる劣化なく取得可能です。そのことを利用し、カラー画像と近赤外画像を組み合わせてノイズを低減したカラー画像を再構成することができます。

有機光電変換膜を用いたライトフィールドカメラによる高解像度の多視点画像取得

次世代の撮像方式として、一度の撮影で三次元情報の記録や焦点・視点位置の変更が可能なライトフィールドカメラが注目を集めています。しかしこの撮像方式には、画像の空間解像度が低下する問題があります。

そこで本研究室では有機光電変換膜という次世代の撮像素子を、ライトフィールドカメラに適用することで高解像度化を実現することを提案しました。有機光電変換膜は特定の波長域のみを信号化し、他は透過する特性を持っています。緑色に感度を持つ有機光電変換膜を用いることで、色ごとに解像度と視点数が異なる画像を取得することが可能となります。これらの画像を再構成処理により組み合わせることで、高解像度化を実現しました。

コンピュータビジョンに関する研究

動きベクトル場におけるエッジ検出に基づく移動カメラ映像からの動物体抽出

スマートフォンやデジタルカメラの普及により、移動カメラ映像における動物体抽出手法への需要が高まっています。しかし、撮影するカメラが移動する場合、背景が変動するため動物体領域と背景の区別が難しくなります。既存研究では、動画内の長時間の軌跡を解析した手法や、背景モデリングを行う手法などが提案されていますが、これらの手法はオンライン処理に適さない、カメラの動き量に制限があるなどの問題を有しています。

本研究では、背景の動きに対して動物体の動きは独立しているということに注目し、背景と動物体の動きベクトル場のエッジを利用した動物体抽出手法を提案しています。動きベクトル場は2フレームのみで算出可能であり、また、カメラの動き量に依存せず取得可能なため、既存手法の課題であったオンライン処理や、様々なカメラの動きへの対応を実現することが可能となります。

重み付き多数決に基づくアルツハイマー型認知症の識別

アルツハイマー型認知症は患者との対話が難しい事や、医師の熟練度により診断結果が変動してしまう事から客観的な画像診断手法が求められています。アルツハイマー型認知症は記憶を司る領域である海馬周辺が委縮し、側脳室が拡大していく病気です。既存研究では病変が顕著に表れるとされている海馬や側脳室の体積を基に識別を行っています。

本研究では、病変の現れ易さを事前確率として推定し、この推定結果と小領域ごとの識別結果を用いた重み付き多数決を行うことで識別を行います。小領域ごとに識別器を作成することで、局所的に表れる病変を捉えることが可能となります。また、重み付き多数決を行うことで病変の現れ易さを考慮した識別を実現します。

時空間視差曲面モデルを用いたステレオ動画像における視差推定

現在、車載カメラなどで左右配置した2台のカメラから撮影できる画像を用いて、物体までの距離を測定することが技術の実用化が進められています。近年では、夜間の映像に発生するノイズに頑健な距離推定を行うために動画を用いた手法が研究されています。しかしながら、動画を用いた従来手法では、被写体の回転運動や、カメラのパン運動などといった複雑な動きに起因する視差の時間変化がある場合、精度が低下する問題があります。

このような問題に対処するために本研究室では、ステレオ動画像に生じる変化のモデルを提案しました（時空間視差曲面モデル）。このモデルは、視差推定のための局所的な探索窓の位置、形状を視差の時間変化に応じて適切に変化させることができます。結果として、従来手法では対処が難しかった複雑な視差の時間変化が起こる場合においても、高精度な視差推定を可能となりました。

多眼カメラの映像を用いたシーンフロー推定

本研究では3次元映像からシーンフローとも呼ばれる3次元的な動きベクトル場を推定することを行っています。従来のシーンフロー推定では、奥行き情報とオプティカルフロー推定を統合する手法が検討されてきましたが、一般に奥行き情報の取得は、不安定な推定処理や撮影環境等の制約された特殊なデバイスに依存しており簡便かつ高速に最終的なシーンフローを得ることは容易ではありませんでした。

そこで本研究では、限定的な計算量のみで小数精度を得る2次元のオプティカルフロー推定手法の自然な拡張として、3次元のシーンフローを焦点ぼけ画像群上で直接に求める手法を提案しました。焦点ぼけ画像群は、多視点画像などからもほぼ損失なく容易に変換可能である上、3次元シーンとも直接に対応づけられるため、既存手法と比較し、効率的な推定が可能になりました。