赤外線センサーに関してよく聞かれる質問の一つに、気温が人の体温と同じ37度程度になると人物は写らなくなってしまうのでしょう⁉があります。　この質問に対するお答えがこのビデオ画像と言えます。華氏での90Fはほぼ摂氏の37度と同程度です、このビデオは正に外気温が人と同じ体温程度の条件下で撮影されました。路上を歩く歩行者たちは路面の温度よりも低く若干黒っぽく見えますが詳細は潰れることなくしっかりと写っています。人の体全体が均一に37度になることはないし、反射や物性の違い等々、人物が３～４ピクセルくらいに小さく遠くに写るような環境下でない限り、温度による外気との埋没は起こり難いと言えます。

次の画像は、トンネルに入った直後の暗転、トンネルを通り抜けた場合の明転時の可視画像と赤外線画像の対比です。全てのCMOSセンサーがそうとは言いませんが、周りの照度が急速に変化した場合、ホワイトバランスやゲインの調整という意味で可視光センサーの代表格といえるCMOSセンターでは画像処理にある程度の時間を必要とします。それに対し、赤外線画像の場合は原理的な観点から可視光下での明暗には全く影響がなく、ある意味非常に安定した映像を供給し続けることができます。

夜の雨と霧、信号や対向車のヘッドライト、我々人の目にも過酷な環境は当然CMOSセンサーにも過酷な状況であり、正に三重苦、四重苦という環境ですが、赤外線センサーにとっては若干の影響はありますが、その安定度への揺らぎは少ないと言えるでしょう。

同じように、CMOSセンターにとって厄介な環境が、朝日夕日に代表される太陽のハレーションです。勿論、赤外線画像ではほとんど影響を受けません。

夜間画像、赤外線画像では絶対的な安定度です。

もう一つ、赤外線センサーに関してよく聞かれる質問があります、”どれくらい遠くまで写るのでしょうか”です。対象物とレンズとセンサーの組み合わせ次第ですとお答えすることが多いですが、ほとんどの皆さんは怪訝そうな顔をされます。人の目に見えている物は色彩がないだけでほぼ全て赤外線センサーは撮影できます。太陽は写りますし、遠くの山も雲もその写り方は異なってもしっかりと結像されます。婉曲的なお答えであることは承知しておりますので、ご質問の本意を汲み取ってお答えします。人物を20×10ピクセルで表現できる範囲内でその赤外線画像を取り込めれば、AIはほぼ90％の確率で人と認識できるとTeradyne FLIR社は述べております。つまりVGAクラスの赤外線センサーに画角50度程度のレンズを装着して200m先に歩く人を撮影すると大人が20×10ピクセル程度に収まりますので、AIでの自動識別が可能になるという意味です。ヘッドライトの到達距離が約50mと言われますので、約4倍程度という表現もできるでしょうか。

基本的には赤外線センサーとレンズの構造は、物性による特性は異なりますが原理的に電磁波を集光して結像させるという意味では、可視光センサーであるCMOSセンター、通常のカメラと同じです。よって、部材の違いにより価格的な差異は大きいですが同じようにズームレンズを構築することができます。

加えて赤外線センサーとレンズの組み合わせ次第では、画角は大きく変わりそれに伴い撮影範囲は大きく変化します。その参考例を示しています。

前述もしましたが、ノイズ処理の手法やコントラストの向上などを含めた画像処理手法は日々進化しており、最新の画像処理を施せば以前の古いセンサーで撮影されたRaw dataであってもノイズを軽減しながらエッジ強調やコントラストなどを複合的に管理することで、俗にいう”超解像”のレベルにまで到達していると言えます。

ノイズ処理の一つとして、画像の揺らぎを抑える処理の例です。

Teledyne FLIR社は、赤外線センサーメーカーの老舗として、膨大な数の赤外線画像やビデオを有しており、その膨大な赤外線画像にAI用のアノテーションを施した教育用画像をビジネスライセンス供与しております。このベータベースを基に教育されたAIはモノクロの赤外線熱画像環境下において物体認識のみならず、移動体認識、追従機能などを含め非常に高度なAI認識レベルを誇ります、このビデオはその一例です。AIでの物体認識にはその物体を表すエッジさえあれば、カラー色彩はむしろそのデータ量から処理能力を低下させる要因であり無駄とまで言い切るエンジニアもいるほどです。

とは言うものの、ブレーキランプや信号はどうするんだ！というお叱りも聞こえて参ります。必然的に色彩をベースにした路上情報は確実に必要ですので、これは赤外線画像に必要なカラーの可視画像をフュージョンさせたビデオです。一種のグラフィック処理ですのでカラーの色味の強さなどは如何様にも調整できます。

アクティブに特殊な光源を照射する必要のないパッシブ・センサーとして位置するCMOSセンサーと赤外線センサーですが、ビジネス的な観点10項目からそれぞれのセンサーの特徴を評価してみますと、この二つのセンサーはお互いの不得意な部分を上手く補い合える立場にあることが認識できます。

次の画像の比較は、CMOSセンサーの可視画像とLiDARによる３D画像の対比です。自動運転のコンピュータシステムから見て、さてこれらの情報はお互いを補い合えるような立場に存在していると言えるのでしょうか。

最後にTeledyne FLIR社がAuto市場に向けて展開している最新の赤外線センサーをご紹介しておきます。レンズ回路分全体を防塵防水対策を施し、そのまま自動車に搭載できる形態での製品展開となっております。レンズの画角も３パターンほど準備されています。

【著者紹介】
花崎　勝彦（はなざき　かつひこ）
コーンズテクノロジー株式会社
プロジェクト・マネージャー

■略歴
エヌビディア社でのグラフィック画像処理、アプティナ社でのCMOSセンサー、フリアーシステムズ社での赤外線センサーのビジネス開拓に携わってきており現在に至る。