畳み込みニューラルネットワーク(CNN)などの深層学習モデルは，神経科学における脳についての知見からいくつかのヒントを得ています．近年，ヒトやサルなど霊長類の視覚野で計測された脳活動とCNNの内部表現との類似性が研究されています．脳活動に隠された情報表現に対する理解を深め，より脳に近い深層学習モデルの確立を目的として，我々は下記の研究に取り組んでいます：
- 霊長類の視覚野で計測された脳波の時空間特性とCNNの内部表現の関係性
- 脳活動から様々な視覚情報を解読するための深層学習モデル
動物はその脳に備わった視覚システムを駆使して，複雑な状況下においても容易にものを認識することができます．ものを見た時，脳内では複雑な時空間スケールで脳活動が生じます．こうした脳活動にどのような視覚情報表現のかたちが隠されているのかを理解するためには，高い分解能を持った脳活動計測とそれらを分析するための計算モデルが必要になります．私たちは現在，新潟大学・神経生理学教室との共同研究を通して，皮質脳波法(ECoG)を用いて計測された霊長類の高次視覚野の脳活動を，物体カテゴリ認識のために学習されてたCNNの内部表現から分析しています．ECoGはミリ秒以下の高い時間分解能を持つとともに，脳表面100カ所以上からの同時計測が可能です．そのような豊富な時空間ダイナミクスをCNNの内部表現を用いて分析することで，脳内の時間，空間，そして周波数領域に隠された情報表現を調べています．
Modeling electrocorticography signals on the macaque inferior temporal cortex in space, time and frequency domains using hierarchical visual features of a convolutional neural network
Society for Neuroscience 2016 Annual Meeting (SfN)
San Diego, US, November, 2016
Date, H., Kawasaki, K., Ozay, M., Hongo, T., Hasegawa, I., Okatani, T.
[poster]
Correspondence between the representations of convolutional neural networks and the activities in inferior temporal cortex measured by electrocorticography
Neuroscience 2016: The 39th Annual Meeting of the Japan Neuroscience Society (JNS)
Yokohama, Japan, July, 2016
Date, H., Kawasaki, K., Ozay, M., Hongo, T., Hasegawa, I., Okatani, T.
[poster]