画像に写った物体同士の関係についての言語表現

画像に写った物体同士の関係を,言語を用いてどのように表現できるか?近年の深層学習モデルは画像中の個々の物体の認識に関して優れた精度を達成していますが,本研究ではそれら物体同士の関係性に着目し,言語によって表現する手法を提案しています.(東北大学 乾・岡崎研究室との共同研究) 

muraoka_paclic16.png

Recognizing Open-Vocabulary Relations between Objects in Images
Pacific Asia Conference on Language, Information and Computation (PACLIC) 2016
Muraoka, M., Maharjan, S., Saito, M., Yamaguchi, K., Okazaki, N., Okatani, T., & Inui, K.