１．人体計測システムの普及

 人体計測が大いに注目される時代になった。例えば、ウェアラブルデバイスを身に着けることは日常風景となっている。スマートウォッチのみならず、スマートリングやスマートグラスなども登場し、さながらＳＦ映画で描かれる未来社会のようである。こうしたウェアラブルデバイスには、脈波・加速度・酸素飽和度などの生体情報を計測できるものも多く、こうした生体情報データと連携するスマートフォン上のアプリによってさまざまなサービスが提供されている。また、人体計測といえば、光学カメラや深度カメラなども忘れてはならない。特に、画像処理技術や機械学習の応用による個人識別技術の発展に伴い、カメラによる人体計測が多くの用途へ応用されるようになってきた。
 しかし、これら既存の人体計測技術は万能ではなく、それらの欠点も無視し得ない。例えば、ウェアラブルデバイスのような接触型センサは、使用時の不快感や皮膚の炎症などが生じる場合がある。また、カメラなどの光学センサは、映像データを悪用される恐れがあり、個人情報の漏洩・プライバシー侵害などの懸念が否定できない。これらの欠点を回避できる人体計測技術として、レーダなどの電波センサによるワイヤレス生体計測への期待が高まっている。電波センサは非接触であるため、装着の不快感や皮膚の炎症などの心配がなく、カメラとは異なりプライバシーに関する懸念も少ない。その上、マイクロ波やミリ波は衣服や布団などを容易に透過し、皮膚表面を直接測定できるため、就寝時や着衣時など、シーンを選ばずに呼吸や心拍などの生体計測が可能となる。
 各種の人体計測システムの比較を図１に示す。本稿で紹介するワイヤレス生体計測は電波センサを利用したものであり、表内の水色の部分に対応する。図に示されたシステムのうち、複数人を同時に、プライバシーに配慮しつつ、常時計測できるものは、電波センサによるワイヤレス生体計測のみである。そこで、以下では筆者らの取り組みを中心にワイヤレス生体計測技術を解説する。解説する技術の詳細については、筆者らの論文¹⁾や原稿²⁾を適宜参考にしていただきたい。

２．ワイヤレス生体計測のこれまで

 電波による生体計測はこれまでどのように発展してきたのだろうか。1970年代には早くも10 GHz帯レーダによる動物の呼吸計測、および、人体の心拍計測が報告され、1990年代には別のグループにより人体の呼吸と心拍の計測が報告されている。このように、ワイヤレス生体計測自体はすでに50年程度の歴史を有する。
 一方、コストの問題によりレーダによる生体計測の社会応用はなかなか進まなかったが、1980年代から1990年代にかけて、小型化が可能なモノリシックマイクロ波集積回路（monolithic microwave integrated circuit: MMIC）の研究開発が欧米を中心に盛んになり、1990年代から2000年以降、無線通信サービスの普及に伴い、MMICの低コスト化が進んだ。続いて、より高い周波数帯であるミリ波帯への展開が進み、2000年代後半には車載レーダ用のミリ波MMICも広がった。その結果、現在ではマイクロ波帯からミリ波帯にかけての小型レーダモジュールが安価に入手できるようになっている。
 このように、無線サービスなどに牽引されて低コスト化したレーダモジュールを活用することで、消費者向けのワイヤレス生体計測の活用が容易になってきた。2020年には国内でも人体計測などを想定した周波数帯の法制化が進められ、一部のスマートフォンやスマートディスプレイにレーダが搭載されるにいたり、ワイヤレス生体計測技術が身近で利用される時代となった。

３．皮膚変位のワイヤレス計測

 人体の皮膚表面には数十ミクロンから数ミリ程度の微小な変位が見られることが一般的である。こうした変位は呼吸や心拍などの生体情報を含むため、レーダによるワイヤレス生体計測では皮膚変位の計測に加え、皮膚変位を生体信号に変換する信号処理技術が必要となる。
 まず、対象とする人体における電波の反射点が１点のみとなる理想的な場合を考える。この場合、反射波の位相はアンテナから人体反射点までの距離に（半波長の整数倍の不確定性を除いて）比例する。アンテナから人体反射点までの距離は、時間的に変動しない平均距離、体動による変位、呼吸による変位、心拍による変位という4つの成分の和として表すことができる。
 レーダの受信信号を複素信号で表現すると、複素平面上で円に沿って時間変動する成分（体動や生体信号）に加え、送信波の漏れこみや静止物体からの不要反射波に相当する直流成分（静止クラッタという）が含まれる。静止クラッタを除去するためのさまざまなアルゴリズムが提案されており³⁾、そうしたアルゴリズムにより静止クラッタを除去した後の信号の位相を用いて、目標までの距離の変化を時間の関数として算出できる。その後、体動、呼吸、心拍などの成分に分離し、生体信号の解析が行われる。この分離には周波数領域でのフィルタリング⁴⁾、ウェーブレット解析、経験的モード分解など、さまざまな手法が用いられている。

次回に続く－

【著者紹介】
阪本　卓也（さかもと　たくや）
京都大学　大学院工学研究科電気工学専攻　教授
Professor, Kyoto University
Department of Electrical Engineering, Graduate School of Engineering

■略歴
 平12京大・工・電気電子卒．平17同大大学院情報学研究科通信情報システム専攻博士課程了．同大学院にて日本学術振興会特別研究員PDを経て，平18同大学院情報学研究科通信情報システム専攻助手，平19より同助教，平27兵庫県立大学大学院工学研究科電子情報工学専攻准教授，平31京都大学大学院工学研究科電気工学専攻准教授，令4同教授．その間，平23から平25まで日本学術振興会海外特別研究員としてオランダ王国デルフト工科大学客員研究員兼任．平29 米国ハワイ大学マノア校客員研究員兼任．平30から令4まで科学技術振興機構さきがけ研究者兼任．アンテナ伝播国際シンポジウム最優秀論文賞（平24），電子情報通信学会通信ソサイエティ活動功労賞 （平27, 平30），堀場雅夫賞（平28），電子情報通信学会エレクトロニクスソサイエティ活動功労表彰 （平31），電子情報通信学会エレクトロニクスシミュレーション研究会優秀論文発表賞（一般部門）（令4），電気通信普及財団賞 テレコムシステム技術賞（令4）各受賞．IEEEシニア会員，電子情報通信学会正員，電気学会正員，システム制御情報学会正会員．京都大学博士（情報学）．システム理論的センシング，ワイヤレス生体計測，レーダイメージングを研究テーマとしている。

１　概要

 数十メートル離れた場所からだと，人の顔がよく見えず，近づいてくるまで誰だかわからなかったという経験をした人は多いと思う．その一方で，遠くにいる人でも，誰が近づいてきたか．全体の動きや風貌からわかったという経験をした人も多い．これは，体型や歩行パターンにも個人差があり，よく知っている人，日常的に接する人の場合，その個性から，遠方から近づく人の認識を可能にしているからである．
 歩容（または，歩様）は，動物が地面の上を移動する際の手足の動き，即ち，歩行のパターンを表す用語であり，生体運動学や制御工学の分野で古くから研究対象とされてきた．特に，四足歩行の動物の典型例として，馬の歩容が古くから研究されており，速さが増すにつれて，常足 (Walk)・早足 (Trot)・駆足 (Cantor/Gallop) と変化し，四足の着地のタイミングが変化する．一方で，二足歩行であるヒトの歩容は，基本的には左右の足を順に前に出して歩くことから，四足歩行の動物と比較するとその変化は限定的である．しかしながら，二足歩行であるヒトの歩容には，依然として多様な情報が含まれることが知られている．例えば，精神生理学の分野は，歩容から知人を認識する実験や人物の性別を識別する実験が行われている^[1]．また，点光源を人体の関節部に付けて表示するキネマティクス情報から，個人識別や感情の属性推定が可能であるということも報告されている^[2][3]．
 さて，歩容映像にはどんな情報が含まれているのだろうか．図1の示すように，歩き方には，腕の振り・歩幅の違い・姿勢の違い・動きの左右非対称性などに明確な違いが見られ，歩容映像解析とは，この歩き方の違いを特徴として捉えた映像解析技術である．

 歩容映像解析の研究には，歩行者検出及び追瀬，歩容タイプ分類，個人認証，年齢推定，性別分類，感情・意図理解，歩き方の美しさ推定，疾病診断，リハリビティーションなど多岐に渡る．例えば，歩行と病気の関係では，例えば，脳神経疾患者の場合，痙性歩行（つま先をひきずる歩行），小刻み歩行（前かがみ・小刻み・手をあまり振らない歩行）などの歩行障害が現れる．病気診断の補助手段として，歩容解析を行う試みが行われている．また，年齢推定，性別分類などの技術は，マーケティング情報の獲得，迷子発見など，遠隔からの顧客モニタリングとしての活用が期待される．このように歩容は，個体差に加えて，身体特徴，健康状態，精神状態，性別や年齢など，多様な情報を含む生体情報といえる．

 歩容認証は，個人性に着目した，個人を認証する技術である^[4][5]．歩容は，指紋・静脈・虹彩といったほかの生体情報とは異なり，対象者がカメラ（センサ）から遠く離れた場所でも個人認証が可能な唯一のモダリティとして注目を集めている（図２）．例えば，図 3 に示すように，ある人物の歩行画像がカメラから遠く離れた場所で撮影されたとする．この例では，人物領域を拡大した画像から分かるように，歩容・体型などを含めた全身像としての情報は，ある程度，観察可能である．一方， 顔領域を拡大した画像から分かるように，顔認証に必要な解像度は不足している．特に，防犯カメラ映像を用いた犯罪捜査の場面を想定すると，低解像度の問題以外にも，対象者がサングラス・マスク・ヘルメット・目出し帽などで顔を隠している場合 や，後ろを向いていて顔が映っていないなど，顔認証の利用が 困難となる場合が考えられる．そのような場合でも歩容認証は 利用可能であることから，防犯カメラ映像を用いた歩容認証による科学捜査への応用が期待されている．本稿では，個人認証に焦点を当てて歩容映像解析技術を解説する．

２．歩容認証

 歩容認証は，個人毎で体型や動きが異なることに着目した個人認証技術で， 2017年改正個人情報保護法の個人情報の保護に関する法律施行令にて，個人識別符号として，DNA，指・掌紋，虹彩，顔，手・指の静脈，声紋とともに，歩容は定義されるなど，バイオメトリクスのモダリティの一つとして扱われている．では，どうやって，個人認証を行うのか，簡単にその概要を説明する．
 一般に歩行とは，右左の繰り返し動作と考えることができ，2歩を基準に映像列として扱うことが多い．得られた歩容映像列に対して，直接映像を扱う手法をアピアランスベースの表現と呼び，この20年歩容認証の主流のアプローチであった．一方，近年，人体動作を肘や膝といった関節点と体の部位の大きさをパラメータとするモデルベース表現（スケルトンモデル）が再注目され，多くの研究が行われている．モデルベースでは，対象人物の領域 に対して，人体モデルの当てはめを行い，歩幅や関節角の時系列といった歩容パラメータを特徴として抽出する．再注目されだしたのは，人体モデルの当てはめの精度向上よるところが大きい．
 アピアランスベースの場合， 入力映像やシルエット画像列に対して，時間または空間，もしくはその両方に対する解析（例えば，平均化処理や周波数解析）を行い，歩容特徴を抽出する．抽出した歩容特徴と，登録されている歩容特徴との照合により識別処理を行う（図４）．一般的には， 歩容特徴の各要素を並べた特徴ベクトルを定義し， 入力・登録データの特徴ベクトル間の相違度（若しくは類似度）を算出する．相違度は，単純に特徴ベクトル間のノルムとして算出されることもあれば，機械学習手法を用いて，特徴ベクトルを識別により適した特徴空間や計量空間に変換してから算出されることもある．このようにして算出された相違度に基づき，本人認証や個人識別を行う．

 2006年，我々が提案した歩容特徴は，画素毎に時間軸方向に離散フーリエ変換を行うことで得られる振幅スペクトルを用いた^[6]．言葉だけではわかりにくいので図１の例をもとに解説する．図１は，被験者の歩容シルエットデータならびにそこから抽出された歩容特徴（周波数領域特徴）である．フーリエ変換における０次成分は，二歩分の映像列に対して，時間軸方向に輝度値の平均値を計算したものである．図中，真っ白な画素では，ずっとシルエットが写っていたことになり，一方で真っ黒の画素は，一度もシルエットが通過していない画素である．通常，胴体は動きが少ないことから，真っ白に現れ，人の空間的特徴である，体格の違いや歩くときの姿勢の違いが現れる．１次成分には，腕の振り方など左右での違いといった，非対称な動きが現れる．一方，２次成分には，腕や足の振り幅，肩や頭のリズミカルな上下動や左右への揺れ幅など，左右対称的な動きが現れる．すなわち，周波数領域特徴には，歩幅，手足の振り，姿勢など，無意識下で現れる周期的な動きが特徴として含まれている． 歩行の個性が特徴表現できれば，あとは，パターン認識の枠組みの中で，個人認証は可能である．図４に示すように，特徴の相違度の図において，赤や緑は相違度が一方にしかない特徴を表している．
 2012 年当時，被験者数約4000名の世界最大の歩容データベースを構築し，そのデータを用いて評価を実施した．登録データと同一向きを歩行する場合で，１対多照合の個人認証におけるRANK1照合率は94%，また，1対1照合の個人認証における本人拒否と他人受入のEqual Error Rateは1.15%という結果が得られた．当時の世界最高性能である．GPU等に代表される計算能力の向上は，ビッグデータを必要とする深層学習の活躍の場を与えたといって過言でない．歩容認証においても，深層学習を用いたアプローチがトップ性能を叩き出している．性能の向上だけでなく，正面向きと側面向きといった，向きの違い，服装の違いなど，多様な変動要因に対しても頑健な手法が現れてきた．最先端の歩容認証の性能は，例えば，モデルベースでは，EERで0.21%と高性能を叩き出している^[7]．

次回に続く－

【著者紹介】
八木　康史（やぎ　やすし）
大阪大学産業科学研究所　教授

■略歴
1985年大阪大学大学院基礎工学研究科修士課程了。工学博士。1985年三菱電機（株）応用機器研究所／産業システム研究所研究員。平成２年大阪大学助手、同講師、同助教授を経て、平成１５年大阪大学産業科学研究所教授、平成２４年　同研究所長、平成２７年８月から令和元年８月まで大阪大学理事・副学長（研究、産学共創、図書館担当）を経て、令和元年８月より産業科学研究所教授、JST創発的研究支援事業プログラムオフィサー、AMED臨床研究等ICT基盤構築・人工知能実装研究事業プログラムオフィサー。平成３０年からは、パーソナルデータの利活用により、身体の健康、心の健康、社会的健康（コミュニケーション）、環境の健康を基軸にして輝く人生（高いQOL）をデザインし、様々な技術革新と社会経済環境の変革を大学から発信することを目指す、ライフデザイン・イノベーション研究拠点本部長、データ取引市場MYPLRを運用する（一社）データビリティコンソーシアム代表理事。
 コンピュータビジョン、パターン認識、ロボットビジョンの研究の従事。Asian Federation of Computer Vision Societies (Vice President)。情報処理学会フェロー。知能ロボット、コンピュータビジョン分野で普及した、周囲360度を一度に撮影できる全方位カメラを１９８０年代に考案、特に移動ロボットのための視覚技術として展開、電子情報通信学会論文賞等を受賞。また、人の歩く姿から個人を識別する歩容認証技術に関して，世界初の歩容鑑定システムをリリース、その成果から、２０１４年、科学技術分野の文部科学大臣表彰 科学技術賞 研究部門「歩容映像解析とその科学捜査利用に関する研究」受賞。２０１６年春、刑事裁判にて鑑定結果の証拠力が日本の裁判所で認められる。

１．緒言

 近年，人体に装着可能なウェアラブルデバイスが注目を集めており，スマートフォンと連動するリストウェアやアイウェアなど様々な形態のデバイスが登場している．これらのデバイスが新たなエレクトロニクス市場を牽引していくことが期待されている．
 ウェアラブルエレクトロニクスの特長は，名前のとおり，人体に装着して使用できることであるため，現在市場に出ているウォッチ型デバイスやアイウェア型デバイスなどもウェアラブルデバイスに分類されることが多い．しかし，ウォッチ型デバイスは大面積である必要は無く，また，必ずしもフレキシブルである必要も無いため，従来のリジッドデバイスの実装技術により製造することが可能である．しかし，ウェアラブルエレクトロニクスの市場予測等では，ウォッチ型デバイスから衣服型のウェアラブルデバイスがシェアを増加させる傾向にあり，フレキシブルデバイスやプリンテッドデバイスのさらなる活用が見込まれている．それでは，衣服型のデバイスが活躍するのはどのような分野であろうか．やはり，人体のモニタリングを対象とする医療やヘルスケア分野がウェアラブルデバイスの活用の場として考えられることが多い．例えば，長期の心拍モニタリングや体の動きのセンシング等を行うことにより日常の体調管理に用いることなどが検討されている．また，建築現場や工場などの作業員や，消防士，自衛隊員，警察官などの体調管理，危険予測などへの活用等様々な試みがなされている．
 現行でも，脈拍や心電等をモニタリングできるデバイスは多種多様なものが存在するが，より多くの情報を多角的に解析し，より有用な情報を得ることが望まれている（図１）．最近では，人工知能（AI）の活用によりさらに高確度の疾病予測をする試みなどの発表も多くみられるようになってきた．社会の高齢化に伴い，在宅医療や介護などにこれらのデバイスを用いることが想定され，将来的により多くの情報を高精度に収集し，医師が診断に利用する等の需要が高まることが予測される．
 本論文では，具体的に現行のデバイスをウェアラブル化するにあたり，必要不可欠となる柔軟なエレクトロニクスを利用した電子回路形成技術，布上への高伸縮導電配線形成技術を基にして開発したウェアラブルデバイスなどについて解説する．

２．ウェアラブルデバイスに必要な要素技術

 現行でも，脈拍や心電等をモニタリングできるデバイスは多種多様なものが存在するが，より多くの情報を多角的に解析し，より有用な情報を得ることが望まれている（図１）．社会の高齢化に伴い，在宅医療や介護などにこれらのデバイスを用いることが想定され，将来的により多くの情報を高精度に収集し，医師が診断に利用する等の需要が高まることが予測される．
 ここで、パルスオキシメータという医療機器をウェアラブル化することを想定した場合、どのような柔軟エレクトロニクス技術が必要になるか考えてみたい。
 図２に示すように，現行のパルスオキシメータを主要なユニットに分割すると，センシング部（発光部および受光部），表示部，処理・制御部，給電部，配線部となる．これらをウェアラブル化するためには，それぞれのユニットをフレキシブル・薄膜化する必要がある．特に各ユニットを結合する配線部に関しては伸縮性を持たせ，人体曲面にフィットするようにデバイスを設計する必要がある．本解説では、特に、デバイスをウェアラブル化するために不可欠な高伸縮配線技術について説明する。

次回に続く－

【著者紹介】
吉田　学（よしだ　まなぶ）
国立研究開発法人産業技術総合研究所
センシングシステム研究センター・研究チーム長

■略歴
1999/3　　　　千葉大学大学院自然科学研究科博士課程修了・博士（工学）
1999/4-2001/3（財）科学技術振興事業団　戦略的基礎研究推進事業（CREST）特別研究員
2001/4-2009/9（独）産業技術総合研究所　光技術研究部門　入所　任期付研究員
2009/9-2012/6（独）産業技術総合研究所　フレキシブルエレクトロニクス研究センター　主任研究員
2012/7-2013/6（独）新エネルギー・産業技術研究開発機構（NEDO）　電子・材料・ナノテクノロジー部　主任研究員
2013/7-現在　現職
2017/10-現在　埼玉大学大学院　連携教授　兼任

1．はじめに

 昨今，学習・労働環境が変化しつつある．今後，学習・労働環境は遠隔と対面での実施（ハイブリッド化）が急速に進むと予想される．このような状況において，メンタルヘルス対策，学習・労働の作業効率化，および人為的作業ミス対策として，ストレスや疲労感，快適感，感情的覚醒度などの人間の心的状態の把握・推定することが有用である．
 心的状態を把握・推定する技術として，心理学や認知科学の分野では，心理的実験やアンケートなどに基づいて主観的・自覚的に心的状態を把握する手法が用いられており，人間の心理学的・認知的特性を推定し，効果的に操作するために実質的な成果をあげている．心理的実験やアンケートに基づく認知科学研究は心理特性の主観的側面の解明には効果的であるが，回答自体の客観性や定量性に欠ける部分がある．一方，眼球運動や瞬目，心拍，体温，発汗，呼吸，脳波など，客観的に測定できる多様な生理データ・心理指標を計測し，それらのデータ・指標と心的状態との対応を解析した報告がなされている[1]‐[7]．このような生理指標と心的状態との対応関係の解明は，近年では機械学習や深層学習などの手法を通して，パターン的対応関係も解明しつつあり，人間が実験環境を意図的に操作することで，心的状態の操作も可能になると期待できる．しかし，接触型センサを用いて心理指標を計測し心的状態を推定するため侵襲的であり，我々の生活に浸透するにあたって大きな障害にもなっている状況である．従来研究の経緯から，心的状態推定システムの実用化に向けた課題解決策として，客観的かつ非侵襲的な手法で心的状態を推定する手法の確立が挙げられる．
 このような従来方式における問題点を解決するために，筆者らの研究グループでは，認知科学的知見とデータサイエンス的知見を融合し，無線センサネットワーク技術によって得られる室内環境データからその環境内にいる人間の心的状態を推定する方法論・モデルの構築を試みている．本稿では，心的状態を推定する技術について，筆者の研究開発事例を中心に紹介する．

2．心的状態推定技術に関する研究事例

機械学習は深層学習の進歩により，心的状態を把握・推定する手法が提案されている．これまでの心的状態推定は主に生理計測，行動計測，心理計測によって得られたデータを利用するものが多い．

2．1　生理計測

 生理計測は主に，脳や身体情報を対象とする方法である．生理状態を意識的に変えることは困難であるため，人間に関するより深い深層心理の情報を獲得し，無意識な心的状態を把握することが可能であると考えられている．主な計測手法は，脳波，血圧計，心電図等がある[1]‐[6]．脳波データを用いた手法は，計測器が高価であるものが多く，また計測やその情報の解析および解釈には専門的な知識が必要となるという点が課題である．一方，血圧計や心電図の生体情報を用いた手法は，脳波に比べて人間の深層心理の深さは劣るが，ストレスや覚醒度等の状態を推定することが可能であることが報告されている[7]．

2．2　行動計測

行動計測は主に，人間の動きを対象とした手法である．主に，加速度センサやジャイロセンサ，GPS等を用いて，人間の動きに関するデータを取る手法が取られている．昨今は，画像処理技術の向上により，人間の顔画像から表情や血圧の情報を解析する技術や，人間の発生した声から特徴を抽出し，心的状態を推定する技術等が提案されている[8]．また，ウェアラブルデバイスの発展に伴い，スマートフォン等を通して自身の体動や生体情報を簡単に取得することができ，それに基づいて心的状態を分析する技術も開発されている[9]‐[11]．行動計測による心的状態推定は生理計測と比べると精確性に劣るが，計測が容易であり，心的状態をリアルタイムに推定することができる．

2．3　心理計測

心理計測は主に，人間の心理的側面を対象とした手法である．アンケートによるデータ収集が主な計測方法であり，生理計測や行動計測と比べ，精確性に劣るが，生体データのみ用いる心的状態推定技術は個々の人間の主観的な部分での心理変動を計測することは難しいため，心理計測も重要な手法である．心理計測による心的状態の把握・推定は，心理特性の主観的側面の解明には効果的であるが，回答自体の客観性や定量性に欠ける部分がある．

2．4　心的状態推定技術の応用例

このように生体情報や心理情報を心的状態予測技術はこれまで数多く提案され，実際の社会の中でも導入され始めている．最近は①働き方改革や②教育支援，③自動車運転支援等の場面で心的状態推定技術の需要が高まっている．たとえば，①社員にウェアラブルデバイスを装着させ，生体情報を分析後にフィードバックし，勤労環境を改善するシステム[9][12]，②学生の授業中の表情を分析し，心的状態パターンを明らかにし，心的状態変化につながるシナリオをビデオ分析によって提供するシステム[13]，③自動車の振動のパターンや，ドライバーの表情を分析し，運転中の眠気度合い等を予測するシステム[14]‐[16]等がある．画像情報を用いない心的状態推定技術として，人間の生体信号を計測することが可能なウェアラブルデバイスを用いた心的状態推定技術がある．Abeら[9]の研究ではウェアラブルデバイスによって測定した心拍数や皮膚温度などの変動から4 種類の心的状態(Happy/Stress/Relax/Sad)を推定する手法を提案している．これらの研究はウェアラブルデバイスが心的状態の推定に有効であることを示している．

2．6　環境と心的状態との関係

環境データ（匂い，音，照明，CO2濃度等）が人間の心的状態に与える影響に関する研究が行われている[17]‐[19]．Bombailらは匂いがストレス反応を誘発することによって，人間の心的状態に影響を与える可能性があることを示した[19]．Ayash らは学習環境での学生の心的状態とパフォーマンスは光度のレベルによって影響を受ける可能性があることを調査した[20]．人間の健康に対する音（雑音）の悪影響は，睡眠障害，心臓の問題，更には視力の問題も広く議論されている[21]．さらに，Zhang らは中国の大気状態と人間の心的状態状態の関係を時系列でモデル化，予測するシステムを提案した[22]．このように，周囲の環境は人間の心的状態状態に影響を及ぼす可能性があることが示唆されている．

3．非接触センシングによる心的状態推定技術

心理計測や行動計測に基づく心的状態推定技術は接触型センサを利用するため，それが心的状態推定技術進展に関する大きな制約となっている．ウェアラブル端末などの接触型センサによる心的状態の把握は有用であるが，接触型センサを利用するため制約が多く，我々の生活に浸透するにあたって大きな障害にもなっている状況である．このような従来方式における問題点を解決するため，著者の研究グループは，認知科学的知見とデータサイエンス的知見を融合し，IoT （Internet of Things）技術によって得られる人間の認知機能に関わる環境データからその環境内にいる人間の心的感情を推定する方法論・モデルの構築に関する研究を進めている[23][24]．

3．1　計測環境

本研究では，ウェアラブルデバイスおよび無線センサネットワークを利用し，生体データによる個人の感情データおよび人間の認知機能に影響を及ぼし得る屋内環境データを収集できる計測環境を構築する（図1）．さらに屋内環境に大きな変化などが起きた際の検証用及び，滞在人数や，屋内温度環境などもモニタリングできるようなRGBカメラとサーモグラフィ画像も補情報として用意している．すべてのデータを収集し，管理するためのサーバも用意する．サーバではデータの管理に加えて，感情データと環境データのマッチングを行う作業を担う．以下に，感情及び環境データ収集の流れを示す．

3．2 無線センサネットワークによる屋内環境データ計測

無線センサネットワークを利用し，人の認知機能に影響を及ぼし得る屋内環境データを収集する．このセンサはZigBee規格に対応したモジュールを使用して，ワイヤレスネットワークを構築している．センサの通信モジュールを管理するためにワンボードマイクロコンピュータ（Arduino）を使用し，各センサの処理と通信管理を制御する．本研究では，データ計測を2つの部屋で行った．各個人にID番号(ID1~15)を対応づけ，一人一つずつにパーソナルセンサを製作し，個人の机に配置した．また，各部屋に一つインドアセンサを設置した（図2）．パーソナルセンサでは，温度(℃)，湿度(%)，照度(lux)，臭気(1~1023)，距離(cm)，人間検出(0，1)，ブルーライト(1~1023)及び音(dB)データを取得することができる．インドアセンサは，二酸化炭素(ppm)，ほこり(ppm)及び気圧(hPa)データを取得することができる．ID1とID2のデスクには，ポイントベースの簡易型サーモセンサも設置した．これはセンサ周囲の温度を測定し，測定データを8×8ポイントデータとして送信する．ポイントベース簡易型サーモセンサは，人間の表面温度を測定するのに使用される．全てのセンサで測定されたデータはサーバ上でcsvファイルとして保存される．ファイルには，測定されたデータ，センサID及びセンサデータの受信時間が含まれる．各センサは10秒ごとに環境を測定する．

3．3ウェアラブルデバイスによる感情認識

人の感情の測定として，日本電気株式会社が販売を開始した「NEC感情ソリューション」を用いる．このシステムは，健康科学および医学における生体信号の解析し感情を可視化するものである．収集・蓄積した心拍変動データなどから対象者の交換神経と副交感神経のバランスを分析することで，ラッセルの感情円環モデル（感情を2軸にプロット）をテンプレートに感情を興奮・喜び，ストレス・怒り，憂鬱・疲労，穏やか・リラックスの4つの感情に分類に分類するものである（図3）．リストバンド型のウェアラブルデバイスSilmeeTMW22や感情認識技術を実装したクラウド型の分析基盤を組み合わせることで，対象者の生体情報をリアルタイムに収集・蓄積が可能である．SilmeeTMW22は，心拍変動データの測定だけでなく，会話量測定・紫外線量測定・皮膚温度測定が可能である．

次回に続く－

【著者紹介】
小室　信喜（こむろ　のぶよし）
千葉大学　統合情報センター　准教授

■略歴
2005年茨城大学大学院理工学研究科修了．同年より東京工科大学助手，同助教．2009年千葉大学大学院融合科学研究科助教，2016年同准教授，2017年同大統合情報センター准教授，現在に至る．2012年米国州立ラトガース大学訪問研究員．無線センサネットワーク技術とその応用に関する研究に取り組んでいる．無線センサネットワークプロトコル，無線センサネットワーク技術を用いた心的状態推定，照明光通信，屋内位置推定に関する研究などに従事．博士（学術）．