1. はじめに

 計測した脳応答からその人の感性や思考を読み取る技術を脳情報デコーディングと呼ぶ。脳とコンピュータを接続するブレイン・コンピュータ・インターフェースや、脳情報に基づいてマーケティングを行うニューロマーケティングなどの基盤技術として、脳情報デコーディングの研究開発が進められている。ただし、実際のところ社会実装は思うように進んでいない。
 その大きな原因は現状における脳計測技術の限界である。脳に電極を埋め込むような、身体に影響を及ぼす侵襲脳計測は、安全性や法整備の観点から一部の臨床目的でしか利用できていない。また、脳波（EEG）や機能的磁気共鳴画像（fMRI）のような身体を傷つけない非侵襲脳計測には、計測のコストと正確性のトレードオフが存在する。EEGは比較的低コストで簡便に脳応答を計測できるが、信号にノイズが多く正確性に欠ける。一方で、fMRIは比較的正確で詳細な脳応答信号が計測できるが、計測に必要な金銭的コストが非常に高い。そのような現状によって、最適な脳計測技術が存在せず、脳情報デコーディングの社会実装には歯止めがかかっている。
 しかし、私たちの研究グループは、この課題を一気に解決しうる画期的な技術「脳融合AI」の開発に成功した¹⁾。脳融合AIでは、画像・映像やテキストなどの多様な入力に対する個人のfMRI脳応答をAIで正確に予測し、予測した脳応答に脳情報デコーディングを適用する。その結果、新たな脳計測を必要とせずに、入力に対するその人の感性や思考を読み取ることが可能になる。つまり、脳応答信号やそこから読み取れる情報の正確性を保ちつつ、劇的に計測コストが削減された脳情報デコーディングが実現する。また、脳融合AIは、入力から脳応答が生じ、感性や思考へと結びつく脳情報処理の過程を模倣していると捉えることができる。すなわち、一種の脳シミュレータとして機能する。
 本稿では、この脳融合AIの原理や特長について説明する。

2. 脳融合AIのしくみ

 脳融合AIは、画像・映像やテキストの入力から個人のfMRI脳応答を予測する予測モデルと、予測した脳応答から感性や思考を読み取る解読モデルから構成される（図1）。予測モデルは、AI技術の一種である深層ニューラルネット（DNN）を用いて実装する。DNNは入力された画像・映像やテキストから特徴を抽出し、数値（特徴量）として扱えるようにする。そして、入力から抽出した特徴量を用いて、その入力に対する個人の脳応答をできる限り正確に予測する。この予測モデルは、fMRIで計測された個人の脳応答を用いて、パラメータを統計的に学習することで得られる。例えば、映像によって誘発する脳応答を利用するのであれば、およそ2時間分のデータで十分に予測モデルが学習できる。一旦学習が完了すれば、あらゆる入力に対する個人の脳応答を予測できるようになる。脳融合AIを構築するうえで、計測された脳応答データが必要になるのはこの学習の部分のみである。

 解読モデルは、予測した脳応答と感性・思考を表すラベルの対応を、機械学習を用いて統計的に学習することで得られる。ラベルとしては、例えば映像から受ける印象や、音楽の好き嫌い、テキストに反映された感情状態など、数量化やカテゴリ化できるものであれば何でも構わない。一旦学習が完了すれば、まったく新しい予測脳応答に対して、対応するラベルを読み取ることができるようになる。
 予測モデルと解読モデルを連結することで、個人ごとの脳融合AIが出来上がる。また、予測・解読モデルだけでなく、例えば脳応答の時間的な変化を上手く捉えることで予測を正確にするモデル¹⁾や、脳応答を次元削減することで計算コストを大幅に下げる手法²⁾など、様々な拡張の試みを進めている。
 構築済みの脳融合AIを利用するうえで、追加の脳計測は一切不要である。そのため、極めて低いコストで多様な入力に対する感性・思考を評価することができる。しかも、計測した脳応答を利用する従来の脳情報デコーディングと比較しても遜色ない性能を示すことが分かった1)。それだけでなく、次節以降で示すように脳融合AIには様々な特長が備わっている。

3. 従来のAIに対する優位性

 近年におけるAI技術の発展は目覚ましく、ある種の機能の性能においては人間を遥かに凌駕する。しかし、現状のAI開発は性能を追求することに主眼が置かれており、AIの振る舞いを脳の振る舞いに似せることに強い意識を持っているわけではない。そのため、人間の感性や思考の評価においては、脳の振る舞いを模倣する脳融合AIの方が高い性能を示す可能性がある。この可能性を検証するため、私たちの研究グループは、映像につけられた様々な感性・思考に関連するラベルの推定問題において、脳融合AIと従来AIの性能を比較した。そして、脳融合AIが、特定の感性・思考ラベルの推定において、従来AIを上回る性能を示すことが分かった¹⁾。
 特に、Web広告映像に対する視聴完了率（広告をスキップせずに最後まで視聴を完了したユーザの割合）をラベルとして推定した際には、脳融合AIと従来AIの性能に顕著な差がみられた（図2）。ここでは脳融合AIと従来AIの他に、計測した脳応答を推定に用いた従来の脳情報デコーディングも比較対象としている。見て分かるように、脳情報デコーディングの推定性能も高い値を示している。このような傾向は他のラベル推定においても一貫していた。つまり、脳情報デコーディングの推定性能が高い時に、従来AIと比べた脳融合AIの優位性が顕著に見られた。脳情報デコーディングは脳の情報を反映しているため、この結果は脳融合AIが脳の情報を上手く模倣していることを示唆している。以上のことから、脳融合AIが人間の感性や思考の評価において有効であるという考えが正しいと示された。

次回に続く－

【著者紹介】
西田　知史（にしだ　さとし）
（国研）情報通信研究機構 未来ICT研究所 脳情報通信融合研究センター 主任研究員

１.絶対的な”スペック”の時代から人間中心の時代に？

　私は恥ずかしながら自分が利用しているスマートフォンのスペックを把握していない。譲り受けたものであるからという理由もあるが、記憶容量、バッテリーサイズ、チップのスペック、画面サイズについて何も把握していない。それでもなんら問題なく利用できている。私に限らずそのような方は多いのではないだろうか。スマートフォンに限らず、世の中の様々な商品において、「機械的なスペック」に対して関心が向けられる機会が減ってきていると感じる。実際のところ、特にコンシューマー向けのサービスにおいては、（ISO準拠ではなくとも）人間中心設計（Human Centered Design＝HCD）や、それに類似する概念は、もはや新しいものではなく、多くの企業のサービス開発において、ごく自然に用いられていると感じる。更に、ナラティブマーケティングと呼ばれる「物語」や「文脈」、SDGsのような社会善を重視する企業も増えており※1、消費者もそのような取組を行う企業やサービスを選好する傾向もより一般的になっていると感じる。

※1 SDGsに関する企業の意識調査（2023年）
https://www.tdb.co.jp/report/watching/press/p230714.html

　このようにスペック一辺倒からの脱却は昨今の流行、企業競争において無視できないものとなっていることがわかる。しかし、一方で「物語」やSDGsではクルマのエンジンは動かず、食品から栄養も接種できず、人間は効用を得ることができない。残念ながら少なくとも当面の間は、我々人間は、生物として（比較的）原始的な効用も無視できないようだ。
　人間中心とはすなわちこの原始的な生物に対して、「物語」だけでなく、彼らの感覚器官（センサ）を通じて、彼らの脳を満足させること言えるのではないだろうか。

２.感性を測るということ

　感覚器官が感じ取るその対象は、化合物、光や音波といった物理的な性質をもったものである。物理的な性質そのものを計測したければ、例えば木材の長さを測りたければ定規を、重さを測りたければ重量計を使えば良い。しかし我々は物理そのものを受け取っているわけではなく、感覚器官を通じてそれらを感じて（計測して）おり、物理的な性質と感覚器官を通じた「精神的な性質」はイコールではない。
　精神的な性質の曖昧さを示す事例としては様々な錯覚があげられる。ミュラー・リヤー錯視は誰もが一度は目にしたことのある有名な錯覚であると思う。図1

　上記のような錯覚の事例においては、物理的な性質は「実際の2本の線の長さの大小」であり、精神的な性質は「体感する2本の線の長さの大小」である。画面上の線の長さを錯覚してもなんら問題はないが、現実には致命的な錯覚というものも存在する。
　致命的な錯覚に航空機パイロットが陥る空間識失調（バーディゴ）がある。バーディゴは熟練のパイロットであっても、健康体であっても生じるまさしく錯覚の一種であるが、高速で飛行する戦闘機においては墜落等の致命的な航空事故に繋がる危険な錯覚である。バーディゴが発生する原因は複数あるが、感覚に関係するものとしては、身体のバランスや位置感覚を司る内耳にある三半規管と前庭系の錯覚に由来するものがある。航空機が一定の速度で回転や旋回を続けると、三半規管はその動きを「新たな平衡状態」として感知してしまい、旋回が停止した際には逆に回転しているように感じる（錯覚する）ことがある。このような状況では、計器飛行（Instrument Flight Rules: IFR）を遵守することが重要である。視覚や平衡感覚に頼らずに、各種計器の数値をもとに、機体の姿勢、速度、高度、進行方向などを把握し、飛行姿勢を修正し、安全な飛行状態へと戻していく。
　飛躍した例にはなるかもしれないが、企業経営においても「データドリブン経営」といった考え方が存在する。様々な企業経営に関係するデータ（売上、原価など）をITシステム経由でモニタリングし、意思決定に繋げることが出来るというものだ。特に複雑化する事業状況における、経営者の「勘、経験、度胸」による（錯覚も生じうる）経営から、データによる経営への転換は、先のパイロットの事例と通ずることがあると感じる。
　このように現実（外的な刺激）と主観（内的な感覚）との関係性を明らかにする学問を精神物理学というが、この精神物理学的な考えを簡易的に事業へ組み込めるサービス事例を紹介したい。

３.サービスの紹介（計測する）

　私は幸いなことに（？）人間の感性に関係する2つのサービスの開発や運営に携わってきた（また多くの企業に向けて同様な領域のサービス開発のコンサルティングを提供してきた）。それぞれが対象とする感覚も業界も異なるが、感性を対象にしたサービスという括りで近しいと感じることも多い。

3.1 D-Planner®（株式会社NTTデータ）

https://d-planner.nttdata-neuroai.com/
　本サービスは、人間の脳情報をベースに作成されたAI（NeuroAI®）をベースに作られたクラウドサービスである。NeuroAIは人間が外界の刺激を、目と耳で感じた際の脳活動を予測するAIである。（D-Planner®　及びNeuroAI®はNTTデータの登録商標です。以下D-Planner及びNeuroAIと®を省略して記載します。）
　現代においては、TVCMやWeb広告等の形態を問わず、企業の消費者向け広告物は、接触数や視聴数等のスコアは簡易に計測が可能となっている。一方「デザインそのもの」がどのような影響や効果を持つかの計測は簡単ではなく、広告主はどのような広告デザインを選定すべきかを「勘と経験と度胸」に頼らざるを得ない問題があった。ここでいう「デザインそのもの」とは、広告物に絵、写真、図表、デザインされた文字（フォント等）で表現されるデザイン全般を指す。
　本サービスでは、それらの広告を見た視聴者が、どのような印象や好意を抱くのかを予測することが出来る。（具体的に計測できる項目は公式HPを確認されたい）

　具体的なビジネスへのインパクトとしては以下のURLに詳しい。D-Plannerを通じたデザイン選定を通じて売上の拡大を達成している事例がある。

『店頭販促物のビジュアルデザインを改善』
https://d-planner.nttdata-neuroai.com/case/cat11/003.html

3.2 KAORIUM（セントマティック株式会社）

https://scentmatic.co.jp/
　本サービスは、香りを言語化するAIを搭載した筐体を軸としたサービスである。
「香り」は文字通り目や耳でハッキリと捉えることが出来ない。遺伝的な要因によって同じ香りに対する感度が異なること、すなわち個性/個人差があることも判明している。※2

※2『ムスクの香りの感度に影響を与える嗅覚受容体の遺伝子多型の発見――ある匂いの感じ方から別の匂いの感じ方を予測できる可能性――』
https://www.a.u-tokyo.ac.jp/topics/topics_20230113-1.html

　嗅覚特有の難しさとしてセンサの観点から見える問題としては、検出対象の広さと、検出機（センサ）の複雑さがある。嗅覚は鼻の奥にある嗅覚受容体というセンサが対象の香り物質（タンパク質等の化学物質）と結合すると、電気信号を発し神経細胞を通じて脳へと伝達されていく。基本的な仕組は視覚や聴覚と基本的に変化は無いが、嗅覚特有の特徴として「嗅覚受容体の種類の豊富さ」「対象となる香り物質の豊富さ」が挙げられる。一般的に嗅覚受容体の種類は400種類程度であり、単純な比較は難しいが、視覚より圧倒的に種類が多いといえる。また、検知可能な物質は数万種以上と、これも視覚と比較して圧倒的に種類が多い。
　さらに、香りは時間経過に伴い変動するように感じられるという特徴もある。香水においてはトップノート、ミドルノート、ラストノートと時間経過に伴い香りの感じ方が変化することが知られている。香水におけるこのような変化は多くは香料が揮発する時間差によるものであるが、香料単体であっても、光と異なり即時に嗅覚細胞は香りを感じるわけではなく、香りへの暴露後、細胞の興奮までには多少の時間差が生じる。 これらの理由から嗅覚は複雑で捉えどころがなく、扱いが難しい感覚であるといわれる所以である。

　嗅覚を刺激する、すなわち「香りのある」商材は様々存在する。KAORIUMにおいても飲料や香水といった領域へ業務適応が進んでいる。具体的なビジネスインパクトにおいては、以下に事例がある。

『お酒の風味と香りを言語化するソムリエAI「KAORIUM for Sake」 紀ノ国屋 ワイン売り場での実証実験結果を発表 前月比18％の売上UPを達成』
https://scentmatic.co.jp/news/20240328

　それぞれのサービスが出来た経緯、思いは異なるが、どちらも曖昧で捉えどころない「感性」を、なんらか機械の力を借りて見える化し、組織や自分自身のなにかしらの意思決定を補助するツールとして活用していることがわかる。従来は、D-Plannerであればデザイナーやプランナー、KAORIUMであれば店員やソムリエ、といった人間のプロフェッショナルが解決していた分野にAIが参入しており、感性の領域においても人間の可能性を拡張する方向性は今後より活発になっていくと考えられる。

次回に続く－

【著者紹介】
大山　翔（おおやま　しょう）
セントマティック株式会社　プロジェクトマネージャー

2015年慶應義塾大学経済学部卒業。新卒でNTTデータに入社。鉄道会社、自動車メーカー、研究機関等多くの企業に向け、ニューロサイエンスに関する営業企画、商品企画や、戦略～業務コンサルティングサービスを提供。通信事業者向けの大規模システム統合プロジェクト、インフラ事業者との新規事業創出、事業連携に従事した後、2020年よりNeuroAI及びD-Plannerの企画、後にサービス主幹を担当。多くの消費財メーカー、サービス業向けにサービス提供を実施。2024年より現職。主にフレグランス領域で営業企画やサービス企画を担当。

【著書（共著）】
『ヒトの感性に寄り添った製品開発とその計測、評価技術』内第5章1節『NeuroAIを用いた広告クリエイティブの可視化と効果予測』

1. はじめに

 本稿では、ロボットハンド手指のセンシングに焦点を当て、計測技術を紹介し、人間の代わりに作業するロボットへの応用に関して解説する。
 現在の一般的なロボットハンドは手指にセンシング機能を備えていないものが多い。これは、ロボットの作業空間内にヒトが存在しない前提で、単一種類の物体をつかむことに特化してきたことが一因である。特に、製造業において基本的な作業の一つであるピックアンドプレースでは、視覚センサで対象物の位置を認識し、アーム手先の位置決めを正確に行う事で作業を遂行してきた背景がある。
 しかし、製造業において多品種少量生産の需要が高まり、さらに、人間と同じ作業空間で動作する協働ロボットが登場したことで、手指にセンシング機能がないことが問題になりつつある。不定形で柔軟、もしくは脆い食品を扱う作業や、工場内で少量多品種物体をピックする需要があるが、手指にセンシング機能を持たないロボットでは対応が難しく、自動化が進んでいない領域も多い（図1）。
 また、今後、ヒトの生活環境下にロボットを進出させていくことを考えると、手指にセンシング機能を持たないロボットは安全面で懸念がある。例えば、2022年にはチェスを指すロボットアームが７歳の少年の指の骨を骨折させる痛ましい事故も起こっている。ヒトと協働で作業をするロボットやヒトと直接的に接触するリスクのある環境下では、視覚センサに情報欠落が生じやすく、従来のロボットシステムでは対応が難しい。これはロボット自身やヒトの体が視覚センサの計測範囲を遮る問題“オクルージョン”に起因する。物体近傍でロボットとヒト、あるいはロボットと物体間を直接的に計測するセンシング機能が必要であると考えられる。
 製造業における更なる自動化を推し進める上でも、ヒトの生活環境下で共存するパートナーロボットを実現する上でも、手指のセンシング機能は重要である。

2. ロボットハンド手指用のセンサ開発

 ロボットハンド手指のセンシング手法は大別すると触覚センサ、近接覚センサ、力覚センサがある。触覚センサと力覚センサは接触センシングであり、近接覚センサは光や電場、音波の反射を利用する非接触センシングである。
 触覚センサに関しては、2015年ごろから小型の視覚センサで透明ゴムの変位を計測するタイプ（視触覚センサ）^[1]が盛んに研究開発され、一部は実用化されている。視触覚センサは接触力の分布と物体のすべりを検知することができるため、油汚れなどで滑りやすい食器や、柔らかい食品を自動的にピックアップする工程で需要がある。ただし、テーブルやばら積みされた物体に対して高速かつ適応的に３次元的な位置決めを行う事が難しい課題がある。ロボットアームがヒトの腕のように小型軽量に構成されており、手先において高速な力のコントロールがしやすいシステムの場合は、触覚・力覚センシングは非常に有効であると考えられる。しかし、ロボットシステムは一般的に金属の塊であり、重量や慣性モーメントが大きい。ハンド手先や指先を高速に物体や環境に接触させつつ力のコントロールをすることを苦手とする。従って、ロボットアームに触覚センサや力覚センサを搭載し、力のコントロールを行わせる場合、衝撃力や接触時の振動を低減するためには、ロボットの動作速度を遅くせざるを得ず、作業効率が低下する。
 一方、近接覚センサは非接触で物体位置を計測することから、ロボットの手先位置制御を高速化しやすく、かつ、位置決め動作中に物体を破損させる恐れがない点が利点である。近接覚センサは光や電場などをロボット表面から照射し、物体面からの反射量を計測することにより、物体表面とセンサ間の位置関係を算出する。
 ロボットハンド指先に近接覚センサを搭載することで正確なマニピュレーションを実現しようとする試みは古くからある。1973年にNASAジェット推進研究所（JPL: Jet Propulsion Laboratory）のLewisら^[2]は光反射式の測距センサを2指グリッパの先端に複数個搭載したロボットシステムを提案した。研究例は古くからある一方で、近接覚センサを搭載したロボットは今現在、普及しているとは言い難く、マニピュレーションの研究分野内でも極めて少数派である。この要因の一つに近接覚センサの計測値はピックアップする物体の材質や表面性状の影響を受けやすい点がある。特に光学式のセンサは小型サイズであることからグリッパ指先などの限られたスペースに搭載しやすい一方で、物体表面の光の反射特性の影響を受けやすい。この問題を克服するために、現在までに様々な計測原理の近接覚センサが考案されている。以降では主な光学式の近接覚センサを紹介し、著者が研究開発している近接覚センサの特徴を述べる。

3. Time of Flight式

 単一光子を検出可能な高感度な受光素子（アバランシェフォトダイオード）を用いた小型の測距センサが2014年から製品化され、広く販売されている。数ミリサイズの筐体の中に発光・受光素子とコントローラが内蔵され、外部のマイクロコントローラと接続してシリアル通信（I2C、SPI通信）経由で計測値を受信可能なタイプが多い。基板上に実装するのみで手軽に測距機能を実現できる。2015年ごろから現在まで、ロボットハンドの指先にTime of Flight（ToF）式のセンサを搭載し、物体操作時の成功率を上げる試みが行われている^[3]。
 著者の研究グループも小型素子の発売当初から目を付け、ロボット指先用のセンサとして使用できないか検証してきた。しかし、計測精度と計測時間の両方に課題があり、学会発表は行ったものの社会実装までには至っていない。図2に代表的なToF式センサの測距特性を示す。ToF式は10cm以上の距離を均一な距離誤差で計測できる点が長所であり、移動ロボットやロボットアーム全周に取り付けて障害物回避や停止動作を行う際は有用であると考えられる。しかし、各距離において、ピークtoピークで2～4ミリメートル以上の誤差が発生するため、ハンド指先に搭載した場合、正確な位置決めが困難となる。一般的にロボット手先やハンド指開閉の位置決め精度はサブミリオーダであるため、ToF式のセンサでは計測精度が不足する。また、計測時間に関しても7～35ミリ秒と低速で、かつ、計測時間にバラつきが発生するため、ミリ秒オーダの高速周期でロボットを正確に制御する場合は計測時間も問題となる。

4. 三角測量方式

 面状あるいは線状の受光部とレンズ系、単一の発光部で構成される原理であり、主に高精度なレーザ変位計の基本となる方式である。物体面からの反射光をレンズで集光し、受光位置から物体との距離を算出する。特に近距離において計測精度と分解能を高めやすいため精密な測定に向いた方式である。しかし、レンズを使用する関係上、焦点距離が生じ、概ね10ミリメートル以下の近距離計測が難しい問題がある（図3）。また、物体面が傾いている場合は測距精度が悪化しやすい欠点もあり、ロボット指先に搭載する上では課題が多い。

次回に続く－

【著者紹介】
小山　佳祐（こやま　けいすけ）
大阪大学　基礎工学研究科システム創成専攻　助教

■著者略歴
2017年 電気通信大学大学院情報理工学研究科知能機械工学専攻博士課程修了（短期終了）。 2015-2017年 日本学術振興会特別研究員 (DC1)。 2017-2019年 東京大学大学院情報理工学系研究科特任助教。 2019年 大阪大学大学院基礎工学研究科助教、現在に至る。 2022年から株式会社Thinker取締役を兼務。 近接覚センサや多指ハンドに関する研究に従事。 計測自動制御学会、日本機械学会、日本ロボット学会会員。博士 (工学)。