脳シミュレータを用いた感性や思考の評価
Evaluating Mental Information Using Brain Simulators(1)

西田 知史(にしだ さとし)
(国研)情報通信研究機構 未来ICT研究所
脳情報通信融合研究センター 主任研究員
西田 知史

1. はじめに

 計測した脳応答からその人の感性や思考を読み取る技術を脳情報デコーディングと呼ぶ。脳とコンピュータを接続するブレイン・コンピュータ・インターフェースや、脳情報に基づいてマーケティングを行うニューロマーケティングなどの基盤技術として、脳情報デコーディングの研究開発が進められている。ただし、実際のところ社会実装は思うように進んでいない。
 その大きな原因は現状における脳計測技術の限界である。脳に電極を埋め込むような、身体に影響を及ぼす侵襲脳計測は、安全性や法整備の観点から一部の臨床目的でしか利用できていない。また、脳波(EEG)や機能的磁気共鳴画像(fMRI)のような身体を傷つけない非侵襲脳計測には、計測のコストと正確性のトレードオフが存在する。EEGは比較的低コストで簡便に脳応答を計測できるが、信号にノイズが多く正確性に欠ける。一方で、fMRIは比較的正確で詳細な脳応答信号が計測できるが、計測に必要な金銭的コストが非常に高い。そのような現状によって、最適な脳計測技術が存在せず、脳情報デコーディングの社会実装には歯止めがかかっている。
 しかし、私たちの研究グループは、この課題を一気に解決しうる画期的な技術「脳融合AI」の開発に成功した1)。脳融合AIでは、画像・映像やテキストなどの多様な入力に対する個人のfMRI脳応答をAIで正確に予測し、予測した脳応答に脳情報デコーディングを適用する。その結果、新たな脳計測を必要とせずに、入力に対するその人の感性や思考を読み取ることが可能になる。つまり、脳応答信号やそこから読み取れる情報の正確性を保ちつつ、劇的に計測コストが削減された脳情報デコーディングが実現する。また、脳融合AIは、入力から脳応答が生じ、感性や思考へと結びつく脳情報処理の過程を模倣していると捉えることができる。すなわち、一種の脳シミュレータとして機能する。
 本稿では、この脳融合AIの原理や特長について説明する。

2. 脳融合AIのしくみ

 脳融合AIは、画像・映像やテキストの入力から個人のfMRI脳応答を予測する予測モデルと、予測した脳応答から感性や思考を読み取る解読モデルから構成される(図1)。予測モデルは、AI技術の一種である深層ニューラルネット(DNN)を用いて実装する。DNNは入力された画像・映像やテキストから特徴を抽出し、数値(特徴量)として扱えるようにする。そして、入力から抽出した特徴量を用いて、その入力に対する個人の脳応答をできる限り正確に予測する。この予測モデルは、fMRIで計測された個人の脳応答を用いて、パラメータを統計的に学習することで得られる。例えば、映像によって誘発する脳応答を利用するのであれば、およそ2時間分のデータで十分に予測モデルが学習できる。一旦学習が完了すれば、あらゆる入力に対する個人の脳応答を予測できるようになる。脳融合AIを構築するうえで、計測された脳応答データが必要になるのはこの学習の部分のみである。

図1 脳融合AIの概要
図1 脳融合AIの概要

 解読モデルは、予測した脳応答と感性・思考を表すラベルの対応を、機械学習を用いて統計的に学習することで得られる。ラベルとしては、例えば映像から受ける印象や、音楽の好き嫌い、テキストに反映された感情状態など、数量化やカテゴリ化できるものであれば何でも構わない。一旦学習が完了すれば、まったく新しい予測脳応答に対して、対応するラベルを読み取ることができるようになる。
 予測モデルと解読モデルを連結することで、個人ごとの脳融合AIが出来上がる。また、予測・解読モデルだけでなく、例えば脳応答の時間的な変化を上手く捉えることで予測を正確にするモデル1)や、脳応答を次元削減することで計算コストを大幅に下げる手法2)など、様々な拡張の試みを進めている。
 構築済みの脳融合AIを利用するうえで、追加の脳計測は一切不要である。そのため、極めて低いコストで多様な入力に対する感性・思考を評価することができる。しかも、計測した脳応答を利用する従来の脳情報デコーディングと比較しても遜色ない性能を示すことが分かった1)。それだけでなく、次節以降で示すように脳融合AIには様々な特長が備わっている。

3. 従来のAIに対する優位性

 近年におけるAI技術の発展は目覚ましく、ある種の機能の性能においては人間を遥かに凌駕する。しかし、現状のAI開発は性能を追求することに主眼が置かれており、AIの振る舞いを脳の振る舞いに似せることに強い意識を持っているわけではない。そのため、人間の感性や思考の評価においては、脳の振る舞いを模倣する脳融合AIの方が高い性能を示す可能性がある。この可能性を検証するため、私たちの研究グループは、映像につけられた様々な感性・思考に関連するラベルの推定問題において、脳融合AIと従来AIの性能を比較した。そして、脳融合AIが、特定の感性・思考ラベルの推定において、従来AIを上回る性能を示すことが分かった1)
 特に、Web広告映像に対する視聴完了率(広告をスキップせずに最後まで視聴を完了したユーザの割合)をラベルとして推定した際には、脳融合AIと従来AIの性能に顕著な差がみられた(図2)。ここでは脳融合AIと従来AIの他に、計測した脳応答を推定に用いた従来の脳情報デコーディングも比較対象としている。見て分かるように、脳情報デコーディングの推定性能も高い値を示している。このような傾向は他のラベル推定においても一貫していた。つまり、脳情報デコーディングの推定性能が高い時に、従来AIと比べた脳融合AIの優位性が顕著に見られた。脳情報デコーディングは脳の情報を反映しているため、この結果は脳融合AIが脳の情報を上手く模倣していることを示唆している。以上のことから、脳融合AIが人間の感性や思考の評価において有効であるという考えが正しいと示された。

図2 Web広告映像の視聴完了率における性能比較
図2 Web広告映像の視聴完了率における性能比較


次回に続く-



参考文献

  1. Nishida S, Nakano Y, Blanc, A, Maeda N, Kado M, Nishimoto S. Brain-mediated Transfer Learning of Convolutional Neural Networks. Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence 34(4):5281–5288, 2020.
  2. 阿部武, 西田知史. Masked Auto Encoder と対照学習を用いたfMRI データの次元圧縮法と脳媒介パターン認識への応用, 電子情報通信学会技術研究報告 123(357):23–28, 2024.


【著者紹介】
西田 知史(にしだ さとし)
(国研)情報通信研究機構 未来ICT研究所 脳情報通信融合研究センター 主任研究員

■略歴

  • 2014年 3月京都大学 大学院医学研究科 博士課程修了 博士(医学)
  • 2014年 4月京都大学 こころの未来研究センター 研究員
  • 2014年11月情報通信研究機構 研究員
  • 2015年 4月大阪大学 大学院生命機能研究科 招へい研究員
  • 2019年 4月情報通信研究機構 主任研究員
  • 2020年 4月大阪大学 大学院生命機能研究科 招へい准教授
  • 2020年12月科学技術振興機構 さきがけ兼任研究者
  • 2023年10月北海道大学 人間知・脳・AI研究教育センター 客員研究員
  • 2024年 4月北海道大学 人間知・脳・AI研究教育センター 客員准教授