音声情報処理グループ

音声情報処理グループの主な研究テーマ

音声情報処理グループでは主に調音運動に着目した研究に取り組んでいます。調音運動とは人間が発話するときの唇の開閉や舌の前後運動といった動作のことを指します。調音運動から音声を合成することは、すなわち人間の発声過程をそのままシミュレートすることを意味します。これにより、発話が良好に行えない話者(例えば高齢者や幼児、外国人や構音障碍者)の発話時の運動を解析することが可能になり、発音訓練等のサポートシステムを開発することが可能になります。

調音運動は体内で行われる運動のため、収録するには特殊な機器が必要です。代表的な機器はEMA(Electro-Magnetic Articulography)とMRI(Magnetic Resonance Imaging)です。EMAは2mmほどの小さなコイルを舌や唇に貼り付けてその位置を計測する機器で、高い精度で高速にコイルの位置を取得することができます。MRIは体内の脂肪分を可視化する機器で声帯から唇に至る空洞(声道)の形状全体を取得することができます。音声情報処理グループではこれらの機器で収録された調音運動を用いた以下のような研究を実施しています。

  • EMAデータからの音声合成
  • MRI画像からの音声合成
  • テキストからの調音運動の生成
  • 音声からの調音運動の推定

音声情報処理グループではこの他にも、音声に関する幅広い研究テーマに継続的に取り組んでいます。

話者・声質変換に関する研究:

  • 声質変換の性能向上
  • ディープフェイクに関する研究
  • 音声の明瞭化に関する研究
  • 発音訓練システムの開発

音声認識・音声合成に関する研究:

  • 感情音声認識・合成に関する研究
  • 歌声音声に関する研究

その他、音声や音に関する研究:

  • 音源分離に関する研究
  • 音楽の信号処理に関する研究

Speech Processing

音声情報処理グループ

調音運動(発話時の唇・舌の動き)に着目し、音声合成・声質変換・音声認識など幅広い研究に取り組んでいます。発話困難な方への支援システム開発も視野に入れています。

Facial Image Processing

顔画像処理グループ

唇の動きから発話内容を認識する「機械読唇」を中心に、マルチモーダル音声認識や読唇音声合成など、深層学習を活用した研究に取り組んでいます。

AI & Machine Learning

人工知能・機械学習グループ

現在の人工知能ではまだ実現できていない技術の開発を目指し、ゲームエージェント・対話システム・自然言語処理・脳波解析など幅広い研究に取り組んでいます。