研究内容
映像メディア処理
映像をテレビやネットで楽しむだけでなく，誰でも簡単にスマートフォンで動画を撮影・編集・共有できる時代になりました．われわれの身の周りには画像・映像データがあふれています --- スマートフォンで撮影した写真やビデオ，ソーシャルメディアにより流通する画像・映像コンテンツ，監視カメラや車載ドライブレコーダで撮影された映像ストリームなど．
当研究室では，これら膨大な画像・映像データを有効活用するための基盤となる映像メディア処理技術（画像認識，映像解析）と，その応用について研究を進めています．
具体的な研究課題例は以下のとおりです．
- 画像・映像データの自動インデクシングと直観的・効率的な検索
- カメラ映像解析による実世界状況センシング
- デジタルサイネージのコンテンツ配信最適化
- 映像コンテンツ構造解析
ラボ環境に止まらず実環境で役立つ技術の創出を目指して，できるだけ実データ，例えば実フィールドに設置されたカメラ映像や，ネット上で流通する実コンテンツを処理対象とするよう心がけます．
プロジェクト
 |
画像解析による乳用牛の個体管理近年，酪農の大規模化の伴い，フリーストールと呼ばれる飼育方法（牛舎内で乳牛を自由に行動させながら飼育する方法）が主流になっている．牛が自由に動き回るため，一頭一頭の牛を人が観察し，異常行動(疾病や発情など)を早期発見することが難しくなっている． 本プロジェクトでは，牛舎に設置した監視カメラの映像を解析することで，牛一頭一頭を識別・追跡し，牛舎内での行動を連続的に記録する個体管理システムの実現を目指している． |
 |
バスドライブレコーダ映像からの人流解析路線バスの効率的な運行計画の策定のために，バスの利用実態の正確な把握は重要である． 現在は調査員がバスに乗り込み乗降客数をカウントする人手に頼った調査手法が主流であり， コストが高く，調査頻度が低いことが問題となっている． 本プロジェクトでは，現在，多くのバスに設置されているバスドライブレコーダに着目し， バスドライブレコーダのカメラ映像から，バス車内の人流情報，行動情報を 自動的・継続的に把握する映像解析技術の研究に取り組んでいる．
|
 |
作業映像の時間的アラインメント効率的な技術・技能伝承を支援する映像技術の確立を目指して， 固定カメラによって撮影した複数の作業映像の間で同一の作業工程区間を対応付ける 映像アラインメメント手法を提案している．
|
発表歴
全国大会・研究会・シンポジウム等
- 杉本将来，古田諒佑，谷口行信，"弱教師ありHuman Object Interaction検出のための基礎検討," 映像情報メディア学会冬季大会講演予稿集, 14B-1, 2019.
- 佐藤 寛，古田 諒佑，島田 裕，谷口 行信, "作業の順序一貫性を用いた作業映像の時間的アライメント," 2019年度映像メディア処理シンポジウム（IMPS 2019）, P-2-20, 2019.
- 伊倉遼， 古田諒佑， 谷口行信， "床画像を用いた現在地推定のための特徴量の検討," 映像情報メディア学会年次大会予稿集， 14B-2, 2019.
- 杉本将来，谷口行信，早瀬和也， "Faster R-CNN を用いた空撮画像からの車両検出," 情報処理学会第81回全国大会講演論文集, 2V-0, 2019.
- 伊倉遼， 谷口行信， "床画像を用いた屋内位置推定法の提案，” 情報処理学会第81回全国大会講演論文集, 5R-03, 2019.
- 石渡翔太郎， 谷口行信， "Structure from Motionとマルチショット画像検索を用いた屋内位置推定," 情報処理学会第81回全国大会講演論文集, 5R-02, 2019.
- 佐藤寛， 谷口行信， "CNN特徴を用いた作業映像の時間的アライメント," 情報処理学会第81回全国大会講演論文集, 2R-06, 2019.
- 高橋美樹，高橋瑞穂，島田裕，谷口行信，早瀬和也 ”FAST特徴を用いた空撮画像からの人工物領域抽出，"映像情報メディア学会冬季大会講演予稿集, 23C-1, 2018.
- 鈴木智裕，島田裕，谷口行信，"骨格情報と人物追跡を用いたバス乗降客数カウント," 第17回情報科学技術フォーラム(FIT 2018), I-013, 2018.
- 宮尾恵，島田裕，谷口行信，"近赤外線を含むカラー画像のスーパーピクセル分割を用いた色調補正手法の提案, " 第17回情報科学技術フォーラム(FIT 2018), I-001, 2018.
- 田代大地，島田裕，谷口行信，高木基宏，早瀬和也，三反崎暁経，清水 淳，"植生・道路領域除去による空撮画像間の変化検出の精度向上",2018年電子情報通信学会総合大会，D-11-37, 2018.
- 鈴木智裕，島田裕，谷口行信，"骨格検出を用いた乗車人数推定", 2018年電子情報通信学会総合大会，学生ポスターセッション，ISS-P-020, 2018.
- 高木基希，島田裕，谷口行信（東京理科大），"偏相関係数を用いた教師なし人物同定手法の検討"，映像情報メディア学会 年次大会，11B-2，2017.
- 宮尾恵，島田裕，谷口行信（東京理科大），"着衣領域の認識に基づく近赤外線を含むカラー画像の色調補正"，映像情報メディア学会 年次大会，13B-5，2017.
- 柳瀬直人（東京理科大），村崎和彦（東京理科大学/NTT），島田裕，谷口行信（東京理科大），"単一画像からの深度推定と幾何学的制約を利用した寸法推定"，映像情報メディア学会 年次大会，33B-2，2017.
- 沖谷卓哉，島田裕，谷口行信，"R-MAC特徴ベクトルの加重平均による屋内現在地推定の精度向上"，第20回画像の認識・理解シンポジウム(MIRU 2017)，PS1-40，2017.
- 佐藤大己，島田裕，谷口行信，"適応的重み付けによる複数特徴の統合に基づく作業映像の時間的アライメント"，第20回画像の認識・理解シンポジウム(MIRU 2017)，PS1-49，2017.
- 佐藤大己，島田裕，谷口行信，"物体特徴と動き特徴の統合による作業映像の時間的対応付け手法の検討", 2016年度映像情報メディア学会2016年冬季大会講演予稿集, 14C-5, 2016.
- 高木基希，島田裕，谷口行信，曽根原 登,"マルチショット連結画像を入力とするCNNを用いたバス車載カメラ映像における人物同定", 第6回バイオメトリクスと認識・認証シンポジウム(SBRA2016), S2-16, 2016.
- 沖谷卓哉，島田裕，谷口行信，"画像認識に基づく現在地推定法の撮影シーン依存性の検証", FIT2016, H-005, 2016.
- 柳瀬直人，村崎和彦，島田 裕・谷口行信，"単一画像を用いた物体の寸法推定に関する検討", 2016年度映像情報メディア学会年次大会講演予稿集, 21C4, 2016.
- 高木基希，島田裕，谷口行信，曽根原登，"マルチショット連結画像を入力とするCNNを用いたバス車載カメラ映像における人物同定 ", 第19回画像の認識・理解シンポジウム(MIRU 2016)，PS2-46, 2016.
- 佐藤大己，島田裕，谷口行信，米本悠，村崎和彦，数藤恭子，"物体特徴マッチングによる複数作業映像の時間的対応付け", 016年電子情報通信学会総合大会，D-9-26, 2016.
- 高木基希，島田裕，谷口行信，"マルチショット連結画像を入力とする畳み込みニューラルネットを用いた人物同定"，2016年電子情報通信学会総合大会，D-12-19, 2016.
- 沖谷卓哉，島田裕，谷口行信，"画像認識に基づく歩行者の移動軌跡推定," 2016年電子情報通信学会総合大会，D-12-77, 2016.
- 坂本望，谷口行信，島田裕，"射影歪みを考慮した改良Bag of Visual Wordsによる屋内位置推定", 2016年電子情報通信学会総合大会，学生ポスターセッション，ISS-SP-204, 2016.
- 柳瀬直人，谷口行信，島田 裕,"CNNを用いたテロップの外接矩形検出", 2016年電子情報通信学会総合大会，学生ポスターセッション，ISS-SP-206, 2016.
卒論テーマ
2023年度
- LUT-Networkを用いたホログラフィ計算の高速化（井上 璃久）
- 非線形カウントラインを用いた進行方向別交通量計測（岩尾 優和）
- 画像生成による斑紋入れ替えデータ拡張手法（石見 椋）
- 乳牛姿勢推定を用いた個体識別の高精度化（大田原 秀斗）
- マルチスペクトルカメラを用いた手映像からの酸素飽和度推定（片桐 卓巳）
- 少量の教師ラベルと標準作業書を用いた弱半教師あり行動分割（平井 悠喜）
- 乳牛個体識別のための効率的なAnnotation Interface（平田 雄大）
- 全天球カメラを用いた道案内動画の自動生成（丸山 恭弘）
- 作業状態検査のためのフレーム予測に基づく異常検知の高精度化（三橋 薫乃）
- 交通流に基づく位置予測を用いた遮蔽に頑健な交通量計測（目黒 圭峻）
2022年度
- 回転矩形を用いた複数カメラ間乳牛個体追跡（粟生 俊平）
- 自動車作動状態検査のためのフレーム予測による映像異常検知（板垣 幸佑）
- マルチモダリティを活用した自動車のドア閉じ異常検知（髙橋 怜芽）
- RGB・ハイパースペクトル画像変換モデルの画質評価（菓子野 天音）
- 手検出を用いた作業映像の教師なしアクション境界検出（高木 利菜）
- 作業映像シーン分割のための類似度行列の高精度化（堤 達弥）
- カウントラインの自動設定による交通量計測の高精度化（岡田 梨伊奈）
- 深層学習を用いた常時観測システムのための組み込み機器向け高速化計算回路設計（中澤 幸大）
- Exifメタデータと全方位画像を活用した画像検索に基づく現在位置推定（平野 昭真）
2021年度
- 作業映像の時間的アライメントのためのHuman-in-the-loop機械学習の効率化（菊池 明久）
- ドメイン知識を利用した遮蔽に頑健な交通量計測（コウ ゼイリン）
- マルチラベル動画分類に基づく自動車の作動状態検知（酒井 寛太）
- ドメイン適応を用いたバス乗車区間推定の高精度化（ソ エブン）
- NeRFによる乳牛個体識別のための多視点画像生成（ソウ イ）
- 照明変動に頑健な車種別交通量計測（山岸 真人）
- 三次元点群の部分対部分レジストレーションのための点群マスク生成（山﨑 慎之介）
- 半教師あり学習による乳牛同定のための軌跡クラスタリング（山田 大稀）
- 全方位画像を用いた屋内現在位置推定（リュウ イ）
2020年度
- 重複領域を持つ複数カメラ画像の歪み補正とパノラマ合成（伊井 理紗子）
- 天井カメラ動画からの乳牛の行動分類（奥田 悠太）
- 大型ディスプレイにおけるWebカメラを用いた視点推定（狩野 日菜乃）
- 3次元点群を用いたタンパク質阻害剤の高速検索（苅谷 健）
- CNNを用いたバーチャルスクリーニング（釘本 晃佑）
- データベース分割に基づく乳牛個体識別システムの高速化（チョウ ヒハン）
- GANを用いたバス車載カメラにおける人物 Re-identification（鳥羽 望海）
- 隠蔽に対して頑健な3次元人体モデル生成に向けた検討（逸見 勲）
- 多視点画像及びGeM Poolingを用いた屋内現在位置推定の高精度化（リ キンウン）
2019年度
- 背景画像による乳牛のインスタンスセグメンテーションの高精度化（穐澤 和宏）
- 装着位置の調整と瞳孔間距離のパラメータ設定によるHoloLensのキャリブレーション（安黒 翔）
- ハイパースペクトル画像を用いた錆状態のモデル化と推定（小林 弘人）
- バス車載カメラにおける2部グラフマッチングによる人流推定（小松 俊太）
- 自己行動分類と物体検出を用いた一人称道案内動画のハイパーラプス化（篠田 昂希）
- 俯瞰画像における乳牛の姿勢推定と個体識別への応用（松永 葵）
- 画像変換によるドメイン適応を用いた乳牛の個体識別（山口 理哉）
- ハイパースペクトル画像を用いた錆領域セグメンテーションの学習（横田 広之）
2018年度
- データ拡張手法mixupを用いた人物同定精度の向上（新井 航平）
- 床画像を用いた現在地推定法の提案（伊倉 遼）
- Structure from Motionとマルチショット画像検索を用いた屋内位置推定（石渡 翔太郎）
- Faster R-CNNを用いた空撮画像からの車両検出（杉本 将来）
- ウェアラブルカメラからのランドマーク強調型道案内動画の自動生成（高橋 克弥）
- FAST特徴を用いた空撮画像からの人工物領域抽出（高橋 美樹）
- バス車載カメラ映像からの線形回帰モデルを用いた乗車人数推定（竹島 光平）
- 物体検出と姿勢推定を用いたテニスサーブの同期重畳動画システム（八木 梓門）
- タブレット端末向けレシピコンテンツ変換システムの提案（柳 彩子）
- 画像認識に基づく料理画像からの食材判定システム（湯河 萌）
- 画像の幾何変換を考慮したスポーツ映像における背番号認識（横地 愛由美）
- 販売量分析のための画像認識に基づく試着動作検出（リュウホウ）
- 単一カメラ動画からの3次元骨格推定の精度向上（氏原 周一郎）
- オプティカルフローを用いた人行列の認識（尾形 洸亮）
- CNN特徴を用いた作業映像の時間的アライメント（佐藤 寛）
2017年度
- Image Analogiesを用いた任意画風への自動着色（大房 かずか）
- プレイシーンに着目した野球映像の要約手法の提案（岡田 佳士）
- 一人称映像からのオフィス内行動分類および集中度推定（加藤 淳平）
- 画像認識による現在地推定のための画像データベースの自動補完（後藤 桃香）
- 畳み込みニュートラルネットワークを用いた人行列の認識（杉山 祐亮）
- 骨格検出を用いたバスの乗車人数推定（鈴木 智裕）
- 深層学習による骨格検出アルゴリズムを用いたラジオ体操の支援システムの提案（鈴木 裕美華）
- Gist特徴量とSURF特徴量を組み合わせたシーン推定手法の提案（関 郁海）
- FAST特徴を用いたGrabCutによる空撮画像からの人工物領域抽出（高橋 瑞穂）
- 深層学習を用いた植生・道路領域除度向上（田代 大地）
- 行動認識による広告への注目度の多段階推定（谷川 未央）
- ロゴ検出によるテレビ番組の本編抽出（古橋 広樹）
- 注目パーツを使用した衣服のイラスト検索（宮野 夕海沙）
- 多重解像度LBPを用いた航空画像間の変化検出（諸石 智徳）
2016年度
- 複数画像間の幾何的関係を考慮した画像合成と寸法の推定（小田 瑛大）
- 軌跡情報を用いた調理行動認識手法の提案（小山 飛鳥）
- 双方向トラッキングを用いた効率的な動画アノテーションツールの開発（柴山 諒）
- 物体特徴ヒストグラムのクラスタリングによる作業映像の工程の識別（清水 貴博）
- 実写環境要素のモジュール化による機械学習用CG画像の生成（田村 直彬）
- 座席位置のマスク画像を用いたバス乗車人数推定の精度向上（チン ヨウ）
- 画像認識に基づく現在地推定の歩行者自律航法による精度向上（林 翼）
- 調理者の手と食材の検出に基づく調理工程の順序認識（ヒ ヒョウ）
- 指さし行動検出を利用した注目度推定（堀 真奈美）
- k近傍法を用いた赤外線カメラ画像の色調補正（宮尾 恵）
- 畳み込みニューラルネットワークを用いたイラストの線の熟練度評価（谷津 志仁）
- Dense SIFT特徴量を用いたスナップ写真の分類モデルの検証（山口 礼央）
2015年度
- イラスト共有SNSの最適なサムネイル抽出（石井 菜月）
- たたみ込みニューラルネットワークを用いたイラストからの画風推定（大久保 良之）
- 画像認識に基づく歩行者の移動軌跡推定(沖谷 卓哉)
- ビデオレコーダを用いたバスの混雑度推定のための人物検出精度向上（粕谷 雅史）
- Saliency mapを用いたインターネット広告の顕著度推定（加邉 友晃）
- 射影変換によるデータ拡張と Bag of Visual Wordsを用いた現在位置推定（坂本 望）
- 物体特徴マッチングによる複数作業映像の時間的対応付け(佐藤 大己)
- 人物同定のための畳込みニューラルネットの構築とバスドライブレコーダへの適用(高木 基希)
- インタラクティブ性と関連情報表示機能を付加した学内デジタルサイネージの提案（古川 嵩）
- 属性推定型デジタルサイネージにおける放映計画の提案（松本 友紀美）
- 深度情報付き動画像を用いたデジタルサイネージへの注目度推定（柳原 崇志）
- 畳込みニューラルネットワークを用いたテロップ領域の自動検出(柳瀬 直人)
- 物体追跡技術を用いたバスドライブレコーダにおける乗客属性推定（米田 敦子）
- Deep Learningを用いたマラソン選手のゼッケン領域検出（田畑 誠矢）
- 分割領域におけるカラーヒストグラムを用いた手書きイラストの同作品キャラクター識別（寺門 駿）