1．はじめに

 昨今，学習・労働環境が変化しつつある．今後，学習・労働環境は遠隔と対面での実施（ハイブリッド化）が急速に進むと予想される．このような状況において，メンタルヘルス対策，学習・労働の作業効率化，および人為的作業ミス対策として，ストレスや疲労感，快適感，感情的覚醒度などの人間の心的状態の把握・推定することが有用である．
 心的状態を把握・推定する技術として，心理学や認知科学の分野では，心理的実験やアンケートなどに基づいて主観的・自覚的に心的状態を把握する手法が用いられており，人間の心理学的・認知的特性を推定し，効果的に操作するために実質的な成果をあげている．心理的実験やアンケートに基づく認知科学研究は心理特性の主観的側面の解明には効果的であるが，回答自体の客観性や定量性に欠ける部分がある．一方，眼球運動や瞬目，心拍，体温，発汗，呼吸，脳波など，客観的に測定できる多様な生理データ・心理指標を計測し，それらのデータ・指標と心的状態との対応を解析した報告がなされている[1]‐[7]．このような生理指標と心的状態との対応関係の解明は，近年では機械学習や深層学習などの手法を通して，パターン的対応関係も解明しつつあり，人間が実験環境を意図的に操作することで，心的状態の操作も可能になると期待できる．しかし，接触型センサを用いて心理指標を計測し心的状態を推定するため侵襲的であり，我々の生活に浸透するにあたって大きな障害にもなっている状況である．従来研究の経緯から，心的状態推定システムの実用化に向けた課題解決策として，客観的かつ非侵襲的な手法で心的状態を推定する手法の確立が挙げられる．
 このような従来方式における問題点を解決するために，筆者らの研究グループでは，認知科学的知見とデータサイエンス的知見を融合し，無線センサネットワーク技術によって得られる室内環境データからその環境内にいる人間の心的状態を推定する方法論・モデルの構築を試みている．本稿では，心的状態を推定する技術について，筆者の研究開発事例を中心に紹介する．

2．心的状態推定技術に関する研究事例

機械学習は深層学習の進歩により，心的状態を把握・推定する手法が提案されている．これまでの心的状態推定は主に生理計測，行動計測，心理計測によって得られたデータを利用するものが多い．

2．1　生理計測

 生理計測は主に，脳や身体情報を対象とする方法である．生理状態を意識的に変えることは困難であるため，人間に関するより深い深層心理の情報を獲得し，無意識な心的状態を把握することが可能であると考えられている．主な計測手法は，脳波，血圧計，心電図等がある[1]‐[6]．脳波データを用いた手法は，計測器が高価であるものが多く，また計測やその情報の解析および解釈には専門的な知識が必要となるという点が課題である．一方，血圧計や心電図の生体情報を用いた手法は，脳波に比べて人間の深層心理の深さは劣るが，ストレスや覚醒度等の状態を推定することが可能であることが報告されている[7]．

2．2　行動計測

行動計測は主に，人間の動きを対象とした手法である．主に，加速度センサやジャイロセンサ，GPS等を用いて，人間の動きに関するデータを取る手法が取られている．昨今は，画像処理技術の向上により，人間の顔画像から表情や血圧の情報を解析する技術や，人間の発生した声から特徴を抽出し，心的状態を推定する技術等が提案されている[8]．また，ウェアラブルデバイスの発展に伴い，スマートフォン等を通して自身の体動や生体情報を簡単に取得することができ，それに基づいて心的状態を分析する技術も開発されている[9]‐[11]．行動計測による心的状態推定は生理計測と比べると精確性に劣るが，計測が容易であり，心的状態をリアルタイムに推定することができる．

2．3　心理計測

心理計測は主に，人間の心理的側面を対象とした手法である．アンケートによるデータ収集が主な計測方法であり，生理計測や行動計測と比べ，精確性に劣るが，生体データのみ用いる心的状態推定技術は個々の人間の主観的な部分での心理変動を計測することは難しいため，心理計測も重要な手法である．心理計測による心的状態の把握・推定は，心理特性の主観的側面の解明には効果的であるが，回答自体の客観性や定量性に欠ける部分がある．

2．4　心的状態推定技術の応用例

このように生体情報や心理情報を心的状態予測技術はこれまで数多く提案され，実際の社会の中でも導入され始めている．最近は①働き方改革や②教育支援，③自動車運転支援等の場面で心的状態推定技術の需要が高まっている．たとえば，①社員にウェアラブルデバイスを装着させ，生体情報を分析後にフィードバックし，勤労環境を改善するシステム[9][12]，②学生の授業中の表情を分析し，心的状態パターンを明らかにし，心的状態変化につながるシナリオをビデオ分析によって提供するシステム[13]，③自動車の振動のパターンや，ドライバーの表情を分析し，運転中の眠気度合い等を予測するシステム[14]‐[16]等がある．画像情報を用いない心的状態推定技術として，人間の生体信号を計測することが可能なウェアラブルデバイスを用いた心的状態推定技術がある．Abeら[9]の研究ではウェアラブルデバイスによって測定した心拍数や皮膚温度などの変動から4 種類の心的状態(Happy/Stress/Relax/Sad)を推定する手法を提案している．これらの研究はウェアラブルデバイスが心的状態の推定に有効であることを示している．

2．6　環境と心的状態との関係

環境データ（匂い，音，照明，CO2濃度等）が人間の心的状態に与える影響に関する研究が行われている[17]‐[19]．Bombailらは匂いがストレス反応を誘発することによって，人間の心的状態に影響を与える可能性があることを示した[19]．Ayash らは学習環境での学生の心的状態とパフォーマンスは光度のレベルによって影響を受ける可能性があることを調査した[20]．人間の健康に対する音（雑音）の悪影響は，睡眠障害，心臓の問題，更には視力の問題も広く議論されている[21]．さらに，Zhang らは中国の大気状態と人間の心的状態状態の関係を時系列でモデル化，予測するシステムを提案した[22]．このように，周囲の環境は人間の心的状態状態に影響を及ぼす可能性があることが示唆されている．

3．非接触センシングによる心的状態推定技術

心理計測や行動計測に基づく心的状態推定技術は接触型センサを利用するため，それが心的状態推定技術進展に関する大きな制約となっている．ウェアラブル端末などの接触型センサによる心的状態の把握は有用であるが，接触型センサを利用するため制約が多く，我々の生活に浸透するにあたって大きな障害にもなっている状況である．このような従来方式における問題点を解決するため，著者の研究グループは，認知科学的知見とデータサイエンス的知見を融合し，IoT （Internet of Things）技術によって得られる人間の認知機能に関わる環境データからその環境内にいる人間の心的感情を推定する方法論・モデルの構築に関する研究を進めている[23][24]．

3．1　計測環境

本研究では，ウェアラブルデバイスおよび無線センサネットワークを利用し，生体データによる個人の感情データおよび人間の認知機能に影響を及ぼし得る屋内環境データを収集できる計測環境を構築する（図1）．さらに屋内環境に大きな変化などが起きた際の検証用及び，滞在人数や，屋内温度環境などもモニタリングできるようなRGBカメラとサーモグラフィ画像も補情報として用意している．すべてのデータを収集し，管理するためのサーバも用意する．サーバではデータの管理に加えて，感情データと環境データのマッチングを行う作業を担う．以下に，感情及び環境データ収集の流れを示す．

3．2 無線センサネットワークによる屋内環境データ計測

無線センサネットワークを利用し，人の認知機能に影響を及ぼし得る屋内環境データを収集する．このセンサはZigBee規格に対応したモジュールを使用して，ワイヤレスネットワークを構築している．センサの通信モジュールを管理するためにワンボードマイクロコンピュータ（Arduino）を使用し，各センサの処理と通信管理を制御する．本研究では，データ計測を2つの部屋で行った．各個人にID番号(ID1~15)を対応づけ，一人一つずつにパーソナルセンサを製作し，個人の机に配置した．また，各部屋に一つインドアセンサを設置した（図2）．パーソナルセンサでは，温度(℃)，湿度(%)，照度(lux)，臭気(1~1023)，距離(cm)，人間検出(0，1)，ブルーライト(1~1023)及び音(dB)データを取得することができる．インドアセンサは，二酸化炭素(ppm)，ほこり(ppm)及び気圧(hPa)データを取得することができる．ID1とID2のデスクには，ポイントベースの簡易型サーモセンサも設置した．これはセンサ周囲の温度を測定し，測定データを8×8ポイントデータとして送信する．ポイントベース簡易型サーモセンサは，人間の表面温度を測定するのに使用される．全てのセンサで測定されたデータはサーバ上でcsvファイルとして保存される．ファイルには，測定されたデータ，センサID及びセンサデータの受信時間が含まれる．各センサは10秒ごとに環境を測定する．

3．3ウェアラブルデバイスによる感情認識

人の感情の測定として，日本電気株式会社が販売を開始した「NEC感情ソリューション」を用いる．このシステムは，健康科学および医学における生体信号の解析し感情を可視化するものである．収集・蓄積した心拍変動データなどから対象者の交換神経と副交感神経のバランスを分析することで，ラッセルの感情円環モデル（感情を2軸にプロット）をテンプレートに感情を興奮・喜び，ストレス・怒り，憂鬱・疲労，穏やか・リラックスの4つの感情に分類に分類するものである（図3）．リストバンド型のウェアラブルデバイスSilmeeTMW22や感情認識技術を実装したクラウド型の分析基盤を組み合わせることで，対象者の生体情報をリアルタイムに収集・蓄積が可能である．SilmeeTMW22は，心拍変動データの測定だけでなく，会話量測定・紫外線量測定・皮膚温度測定が可能である．

次回に続く－

【著者紹介】
小室　信喜（こむろ　のぶよし）
千葉大学　統合情報センター　准教授

■略歴
2005年茨城大学大学院理工学研究科修了．同年より東京工科大学助手，同助教．2009年千葉大学大学院融合科学研究科助教，2016年同准教授，2017年同大統合情報センター准教授，現在に至る．2012年米国州立ラトガース大学訪問研究員．無線センサネットワーク技術とその応用に関する研究に取り組んでいる．無線センサネットワークプロトコル，無線センサネットワーク技術を用いた心的状態推定，照明光通信，屋内位置推定に関する研究などに従事．博士（学術）．