顔画像処理グループ

画像処理グループの主な研究テーマ

唇の動きから計算機(コンピュータ)を用いて発話内容を認識することを機械読唇といいます。画像処理グループでは機械読唇システムを中心に、音声認識と機械読唇を組み合わせたマルチモーダル音声認識や、機械読唇から音声合成まで行う読唇音声合成などの研究を進めています。深層学習技術の発展により、以前は非常に困難であった機械読唇の性能が飛躍的に向上しています。本研究室では、従来より困難な状況(例えば解像度の低い動画像や非正面の動画像)での機械読唇に関する研究も実施しています。

研究例:

  • 機械読唇
  • 読唇音声合成
  • マルチモーダル音声認識(オーディオ・ビジュアル音声認識)
  • 機械読唇用データベースの整備

また、機械読唇以外の様々な画像処理についても、深層学習を利用した手法を中心に検討しています。

研究例:

  • 環境地図と自己位置の同時推定(SLAM)
  • 様々なゲームのプレイヤー動画像の解析
  • スポーツ動画像の解析
  • コミック・アニメ動画像の解析

Speech Processing

音声情報処理グループ

調音運動(発話時の唇・舌の動き)に着目し、音声合成・声質変換・音声認識など幅広い研究に取り組んでいます。発話困難な方への支援システム開発も視野に入れています。

Facial Image Processing

顔画像処理グループ

唇の動きから発話内容を認識する「機械読唇」を中心に、マルチモーダル音声認識や読唇音声合成など、深層学習を活用した研究に取り組んでいます。

AI & Machine Learning

人工知能・機械学習グループ

現在の人工知能ではまだ実現できていない技術の開発を目指し、ゲームエージェント・対話システム・自然言語処理・脳波解析など幅広い研究に取り組んでいます。