４．運転集中度センシングの認識処理

ドライバが運転に適した状態であるかどうかを判断するためには、ドライバが取りうる多様な動作や姿勢に対して幅広く対応する必要がある。目の開閉状態から居眠りを検知したり、顔向きからわき見を検知したりする技術は従来から存在する。しかし、これらは手動運転中にドライバが車両前方を注視しているかを判別するのみで、自動運転時に起こりうる多様な動作の識別は困難である。例えば運転中に飲食したり、あるいは気を失ってハンドルに突っ伏したりと、従来技術では正しく状態を認識できないような状況も多数存在する。

このような場合も含めて状態を高精度に認識するために、本センサでは認識処理で「局所的な顔情報」と「大局的な動作映像」2種類の情報を使用している。前者は目の開閉や顔向き変化等、顔の時系列情報であり、後者はカメラ画像そのものである。顔から得られる情報は非常に重要であり、高精度なドライバ状態認識を実現する上でカギとなるものである。顔画像センシング技術によってこの情報を高速・高精度に抽出する。一方、頭部や上半身、手の動きもドライバ状態を認識する上で重要な意味を持ち、顔が見えていないときも含め、ドライバの大局的な動きをとらえるために、画像そのものも情報として活用する。ただし、カメラ画像は高解像度（720×480画素）であるため、これをそのまま用いることは非効率である。そのため画像の解像度を24×18まで圧縮して利用した。ここまで解像度を落としても、ドライバの大局的な動きに関する情報は失われることはなく、低次元化されることで効率的な学習・認識処理が可能となる。これら両者の情報を融合して解析することにより、車載組込み環境にてリアルタイムで、ドライバのさまざまな状態を高精度に認識可能となった。

■Eyes-on/off　この指標はドライバが常時走行を監視できているかを確認するためのものである。ドライバが進行方向を確認している状態、もしくは運転上必要となる短時間の確認動作、たとえば計器・ミラーの確認などを行っている場合はEyes-on、それ以外のドライバの挙動、たとえばスマホや本、カーナビを注意する、目を閉じている、といった状態はEyes-offとなる。

■Readiness-high/mid/low　ドライバが運転の準備ができているかを３段階で出力する。覚醒して運転に無関係な動作をしていない場合はReadiness-high、運転に無関係な動作をしているが、システムからの警告を受けて軽い手順で運転に復帰できるような状態をReadiness-mid、寝ているなど運転が困難な状態をReadiness-lowと定義する。

■Seated-on/off　ドライバが運転席に着座しているかを指標として、運転行動がとれるかを判断する。ドライバが着座していればSeated-on、離席していればSeated-offとなる。