自然言語と画像理解

 

概要

画像理解のために,自然言語を用いた方法論についても研究しています。例えば,画像と質問文をニューラルネットワークに与えると,質問に対する適切な答えを返答するタスクであるVQAについて研究を行っています.VQAでは,言語と画像間の関係性を捉えることが重要とされていますが,我々の研究では言語と画像間の関係を良好に捉える方法を開発しました. 

VQA-example.png

 
発表文献
 
Duy-Kien Nguyen and Takayuki Okatani, Multi-task Learning of Hierarchical Vision-Language Representation, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019 [PDF]
 
Duy-Kien Nguyen and Takayuki Okatani, Improved Fusion of Visual and Language Representations by Dense Symmetric Coattention for Visual Question Answering, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018 [PDF]