４．ITS用センサ

前回までで説明してきたのは主に車両の内部の状態を計測するセンサで、これらに対して車両外部の環境を認識するためのレーザレーダやカメラ（イメージセンサ）などのセンサをここではITS用センサと呼ぶこととする。ITS用センサを用いたシステムとしては走行支援のためのACCやLKAに加えて、最近では安全システムである衝突被害低減システムがあり、さらに将来の自動運転への適用も検討されている。これらのシステムについては国家プロジェクトである国土交通省によるASV（Advanced Safety Vehicle）プロジェクトにおいて自動車メーカ各社がプロトタイプカーを試作し、様々な検討が行われてきた。表3にASVの経緯を示す。現在は第5期までが終了している。これらの詳細については国土交通省のホームページを参照されたい⁷⁾。
主要なITS用センサでは外部環境情報を1次元もしくは2次元の検出素子アレイで取り込み、それらのデータを画像処理することで障害物や走路の認識を行っている。画像処理には高速演算が要求され、専用のASIC（Application Specific Integrated Circuit）やGPU（Graphics Processing Unit）が用いられている。またITS用センサは外部環境情報を得るために外界にさらす形で車体の表面に取り付ける必要があり、デザイン上や信頼性上の課題をクリアしていく必要がある。
以下では代表的なITS用センサであるレーザレーダ、ミリ波レーダ、カメラについて説明する。なお、赤外線カメラについては前回のMEMSセンサのところで赤外線イメージセンサという形で取り上げたのでここでは省略する。

4.1　レーザレーダ

レーザレーダは検出方向に存在する物体までの距離と方位を検出する装置で通常近赤外線の半導体レーザを用い、物体にレーザのパルス光を照射して反射光が戻ってくるまでの時間を計測して距離を求めるToF（Time of Flight）方式が用いられている。検出する物体の方位を求めるためにレーザ光をスキャナでスキャンし、計測を繰り返すことで反射光強度の方位分布を得ることができ、これにより画像処理を用いて検出物体のある程度の形状や大きさを求め、物体の識別を行うことができる。スキャナとしては電磁アクチュエータでミラーを駆動する1次元スキャナの他、ポリゴンミラーをモータで回転させる2次元スキャ二ングも用いられている。

4.2　ミリ波レーダ

ミリ波レーダでは波長が1 cm以下の電磁波であるミリ波を検出方向の物体に照射し、その反射波を検出することで物体までの距離と方位を求める。さらに反射波の位相を使ってドップラー効果をもとに検出する物体との相対速度も求めることができる。距離検出方式にはモノパルス方式に加えて、FM-CW（Frequency Modulated-Continuous Wave）方式や2周波CW方式などがあり、搬送周波数としては76～77 GHzが主に使用されている。FM-CW方式では搬送周波数を三角波により周波数変調し、反射信号とのビート信号をもとに物体までの距離と相対速度を同時に求める。
ミリ波のスキャ二ングは機械式スキャニングからアンテナアレイを用いた電子式スキャ二ングへと移行し、小型化が進んでいる。またミリ波用高周波回路もGaAsやSiGeを用いたMMIC（Monolithic Microwave Integrated Circuit）から微細CMOS回路へと移行し、低価格も進んでいる。ミリ波レーダはレーザレーダと比較するとビーム幅が太い分、検出分解能は低くなるが、検出の最大距離が長く、雪や霧などの悪天候の影響を受けにくいという長所がある。

4.3　カメラ

カメラは悪天候や逆光に弱く、測距精度もレーダには及ばないが、画素数が極めて多いことから画像認識技術と組み合わせることにより検出物体の詳細な形状把握と物体認識をすることができる。また2個のカメラを用いたステレオビジョンとすることで視差により物体までの距離を計算することもできる⁸⁾。可視光のカメラは通常車室内のルームミラー付近に前方を向けて取り付けられ、白線などの走路情報と障害物情報を同時に得ることができる。ITSのシステムによっては認識の信頼性を上げるためにカメラとレーザレーダもしくはミリ波レーダの情報を融合させるセンサフュージョンの技術が用いられている。

６．ディープラーニング技術を活用した認識処理

本センサでは近年急速な発展を遂げているディープラーニング技術を活用して、高精度なドライバ状態認識を実現している。以下では本センサで用いているCNNおよびLSTMについて概説する。

６．１　CNN

CNNは従来の全結合型のネットワークと異なり、学習により取得された小領域のフィルタと画像を畳み込み演算を実施する畳み込み層、および畳み込み層で得られた画像を所定のルールで圧縮するプーリング層を幾重にも重ねた構成を持ち、画像の変形に対するロバスト性を向上させたネットワークである。ネットワーク自体は古くから知られていたが、近年の汎化性能を向上させる学習方法の提案により、様々な画像認識系のベンチマークテストの最高性能を更新しており、昨今のディープラーニングブームの牽引役となっている。本センサでは、画像全体からドライバの大まかな姿勢に相当する特徴量を抽出するためにCNNを用いている。

６．２　LSTM

LSTMは入力として時系列データを扱い、所定の1フレームの認識結果を得るために該当フレームの情報に加えて前フレームの中間出力を入力とする。また、セルと呼ばれる内部記憶を保持し、この値によって出力に対する該当フレームの入力の重みを計算する。この重みは事前学習によって挙動が設定されており、従来の再帰型ニューラルネットワークに比べてより長期の記憶が可能になることで知られている。図５にLSTMの概略を示す。

７　運転集中度センシングの認識例

図６に本センサによるドライバ状態の認識結果例をいくつか示す。各画面で左側にドライバの画像、右側にはその時のEyes-on/off、Readiness-high/mid/lowおよびSeated-on/offの３指標による認識結果が表示されている。図６左上は運転中の正常状態、すなわちドライバが前方を監視している状態であり、Eyes-on、Readiness-highおよびSeated-onと認識されている。一方図6右上は運転しながらスマホによる会話を行っている状態であり、この場合視線は前方監視しているためEyes-onとなっているが、緊急事態の際にすぐに運転動作ができる状態ではないため、Readinessはlowとなっている。また左下の例では視線、姿勢とも運転に適さない状態となっておりEyes-off、Readiness-lowと認識される。右下の例も同様である。このように、自動運転中に起こりうるドライバの様々な動作を、「運転に責任が持てる状態か」を識別するための３指標で評価し、リアルタイム認識することが可能である。

８．おわりに

画像による車載センサによるドライバ状態のセンシング技術について、われわれの技術を例に取り上げ解説を行った。事故防止、あるいは快適な運転環境実現のために、これらの技術は今後ますます重要性が高まってくるものと考えられる。また本稿では触れなかったが、他の測定情報（たとえば脈拍、体温、ステアリング履歴等）の活用、意識低下時等のドライバへの効果的な働きかけ手法など、安全・快適な自動運転システムを実現する上で必要であると考えられる技術要素は数多く存在する。今後は各要素技術の性能向上はもちろん、これらの技術を有機的に組み合わせる取組みも重要になってくるものと考えられる。