画像1枚からそこに写る物の質感を認識（推定）する方法を研究しています．
質感とは，ある物体の表面の状態について人が感じ取る様々 な感覚，たとえばざらつき，光沢感，凹凸感など，を表します．ある物体の質感は個々の属性 （あるいは尺度）で表現でき，このような属性が複数，有機的に組み合わさって，人の脳内で「質感「という包括的な概念が形成されていると考えられます．
本研究では，このような個々の質感属性の尺度を，物体の画像1枚から推定することを，画像認識の方法論で実現します．
質感の認知には触覚と視覚を主体に，五感のすべてが関与すると考えるのが自然ですが，人は視覚だけでもかなりの認知が可能であって，この「視覚による質感認知」は，人が日常生活を円滑に行う上で欠かせない能力であると考えられます．
一方，人が質感をどうやって認知しているかは大きな謎です．というのも，物体の見えは通常，照明条件，物体の形状及び反射特性など，複数の要因に基づく複雑な物理現象にもよって決定されるますが，人はそれらの要因を詳しく知ることなく，光沢感や透明感などをほぼ正しく知覚できるからです．
このようなことから，質感認知に関わる人の脳内情報処理の仕組みを解明すべく，各分野で研究が行われているところです．本研究室では，この問題に工学的な立場から取り組んでいます．具体的には，人間と同じようにものの質感を認知する，コンピュータアルゴリズムを実現することを目標に，研究を進めてい ます．
この研究は，工学的にも大きな価値があります．例えば，自動車の内装など，人が高品質に感じる製品を低いコストで作るにはどうすれば良いかや，人が 写実的に感じるCG映像を少ない計算量でレンダリングするにはどうすべきかといった問題に，解決の糸口を与えるとわれわれは考えています．
目標とするのは，画像1枚からそこに写る物の質感，例えば光沢感や透明感などの尺度を，数値で答えさせることです．上述のように，われわれは画像認識の方法論，つまり大量の訓練データを元に学習を行うことで，この目標を実現します．
訓練データは，人に次の図のような課題を提示し，それに回答してもらうことで収集します．以下の実験では，このような課題への回答を約数十万個収集しています．
本研究では，人と同じように多岐にわたる物体が写っている可能性のある自然画像を対象とできることを目指しました．そのため，このような比較情報に基づくランキング学習に基づく方法を採っています．
実現した方法による結果の例を以下に示します．これらは，訓練データに含まれない画像を250枚，実現したアルゴリズムに与え，推定した各質感属性の尺度で並べ替えたものを表示したものです．
光沢感の認識結果（上位中位下位各12枚ずつ）：
いくつかの誤りも含まれるものの，概ね認識がうまくいっていることが分かります．
Integrating Deep Features for Material Recognition
International Conference on Pattern Recognition (ICPR) 2016
Zhang, Y., Ozay, M., Liu, X., & Okatani, T.
[arxiv, poster]
Learning Deep Representations of Objects and Materials for Material Recognition
Vision Sciences Society Annual Meeting (VSS) 2016
Liu, X., Ozay, Y., Zhang, Y., Okatani, T.
[link, poster]
Recognizing surface qualities from natural images based on learning to rank
Proceedings of International Conference on Pattern Recognition (ICPR) 2014
Abe, T., Okatani, T., & Deguchi, K.
[pdf]