アーカイブ

モーションリブ、リアルな感触を再現する遠隔操作やVRのデモシステムの販売

モーションリブ(株)は、感触が伝わる遠隔操作システムや、感触をVR空間上に再現するシステム等、各種デモシステムの販売を開始した。

モーションリブは設立以来、慶應義塾大学で生まれた力触覚技術「リアルハプティクス(※1)」を使った各種ソリューション(センシング、遠隔操作、自動化、VR/AR)を共同研究開発の形で提供してきた。
企業の人たちにリアルハプティクスをより気軽に使って貰えるよう、これまで共同研究開発の中で案内してきた各種デモシステムを今回初めて販売形態で提供する。 提供する各種デモシステムは、リアルハプティクスのPoCや、イベント・展示会等での展示物として使うことが出来る。
また、デモシステムの見学会開催も予定しており、実際にデモシステムを体験したい人は、見学会を活用して欲しいとしている。見学会の参加を希望する場合は、contact@motionlib.comまで連絡のこと。
なお、デモシステムの購入利用にあたっては、別途リアルハプティクスメンバー会への入会とリアルハプティクス搭載力触覚コントローラICチップ「AbcCore(※2)」のレンタルが必要となる。
(画像はデモシステムのラインアップ)

※1 リアルハプティクス:
慶應義塾⼤学で発明された⼒触覚伝送技術で、アクチュエータの⼒加減を⾃在に制御することができる技術。 この技術により⼒センサレスで⼒触覚をともなう「遠隔操作」「計測可視化・分析」「⾃動化」「感触の再現・VR」が可能となる。
※2 AbcCore:
モーションリブが開発した、リアルハプティクスの実装を簡便にする汎⽤⼒触覚ICチップ。特徴は以下の通り。
・⼒加減の制御:リアルハプティクスをモジュール化し、リアルタイムな⼒加減の計測と制御を実現。
・⼒触覚を伝送:⼒加減をデータ化して、遠隔地に伝送。双⽅向に⼒触覚を伝え合うことを簡単に実現。
・⼒センサレス:独⾃の⼒推定アルゴリズムにより⼒センサの設置が不要。(⼒センサの使⽤も可能)
・⾼い汎⽤性:市販のアクチュエータ・機器を使⽤して⼒の制御が可能。既存システムへの組込みも容易。

ニュースリリースサイト:https://prtimes.jp/main/html/rd/p/000000019.000027265.html

キヤノン、世界最高画素数の320万画素SPADセンサを開発

キヤノンは、検出した微弱な光の粒子を独自の画素構造により効率よくとらえ、大量の電子に増倍させることで、暗闇でもフルHD(約207万画素)を超える世界最高※1の320万画素のカラー撮影が可能な13.2mm×9.9mmの超小型SPADセンサを開発した。2022年後半より生産を開始する。
また、本成果は、2021年12月11日より開催されているIEDM※2において、非常に競争率の高いLate News Papers※3に採択されたとのこと。

SPADセンサは、画素に入ってきた光の粒子(以下、光子)を1つひとつ数える仕組み(フォトンカウンティング)を採用している。また、1つの光子が雪崩のように増倍し、大きな電気信号を出力する。CMOSセンサは、溜まった光の量を測定する仕組み(電荷集積)で、集めた光を電気信号として読み出す際に画質の低下を招くノイズも混ざってしまうが、SPADセンサは仕組み上、読み出す際にノイズが入らないため、暗い所でもわずかな光を検出し、ノイズの影響を受けずに被写体を鮮明に撮影したり、対象物との距離を高速・高精度に測定したりすることができる※4。

今回開発したSPADセンサは、画素内に光子を反射させる独自の画素構造により、有効画素面全体で効率よく光子を検出し利用できる。同一照度下において、一般的なCMOSセンサの10分の1の画素面積で、同等の撮影が可能。そのため、小さなデバイスにも搭載可能な超小型でありながら、近赤外線域を含む感度が大幅に向上し、星の出ていない闇夜よりも暗い0.002lux(ルクス)※5の環境下において320万画素での動画撮影を実現する。暗視や監視用のカメラに本SPADセンサを搭載することで、暗闇でも、あたかも明るい場所で撮影したかのように、明るい場所にて肉眼で見た色と同じ色で対象物の動きを捉えられるようになる。

キヤノンは2022年後半より、自社のセキュリティ用ネットワークカメラ製品に搭載するSPADセンサーの生産を開始する。革新的なセンサを搭載し、安心・安全な社会の構築に貢献する製品の競争力を高めるという。

また、SPADセンサは、100ピコ秒(100億分の1秒)レベルの非常に速い時間単位で情報を処理することができるため、光の粒のような、高速に動くものの動きをとらえることが可能。フルHDを超える高解像度、わずかな光をとらえられる高感度性能に加え、この高速応答の特長を生かして、自動運転や医療用の画像診断機器、科学計測機器などに用いるセンサとして幅広い活用が見込まれるため、同社は積極的に外販活動を展開し、社会の変革やさらなる発展に寄与するとしている。

※1 SPADセンサにおいて。2021年12月14日現在。(キヤノン調べ。)
※2 International Electron Devices Meeting(国際電子デバイス会議)の略。半導体デバイス分野で最も権威のある国際学会。
※3 最先端技術を盛り込む論文として、IEDMの採択論文の中でも非常に競争率が高い枠組み。
※4 SPADセンサの仕組みやCMOSセンサとの違いの詳細は、下記URLのキヤノンテクノロジーサイトを参照。
 URL:https://global.canon/ja/technology/spad-sensor-2021.html
※5 星明りの明るさの目安が0.02lux、星の出ていない闇夜(やみよ)の目安が0.007luxとされている。

ニュースリリースサイト(Canon):https://global.canon/ja/news/2021/20211215.html

偏光を利用した画像計測技術および偏光機能性素子の開発 (2)

徳島大学
ポストLEDフォトニクス研究所
江本 顕雄
産業技術総合研究所
センシングシステム研究センター
福田 隆史

3.偏光情報と分光情報を同時に検出する偏光素子

3.1 原理および基本特性

 前半の章でも述べたように、偏光情報を検出するには、楕円の軌跡を決定する必要があり、検光子を機械的に回転させて透過光強度を逐次測定するような、時間のかかる動作が必要となる。更に、多波長の光が対象となった場合には、分光測定の要素が付加され、装置構成その他の面でも簡便性は大きく失われていくこととなる。もし、検光子を回転させることなく偏光情報と分光情報を同時に検出することができれば、有効な技術となると期待される。そこで我々は、検光子の回転によって得られる時間展開された一連の情報を、何らかの偏光素子を用いて空間的に同時に展開できれば、回転操作を省くことができ、ワンショットで偏光情報を測定できると考えた。そして、図6(a)に示す様な、一軸配向の液晶分子において配向秩序を周期的に変調した1次元回折格子の回折特性に注目した。このような回折格子は、格子ベクトル k と入射偏光の向きEが一致あるいは直交する場合に、1次光の回折効率が最大となる(図6(b))。従って、このような1次元回折格子を、図6(c)のように放射状に配置すれば、同心円の多重リング型の回折格子となり、光入射によって生じる同じくリング状の回折光において、その円周上の光強度分布から偏光状態が決定できると考えた。加えて、回折角の波長分散に基づいて、分光情報も同時に検出できると予想された。以下にその実験結果を示す。

図6 (a)配向秩序の周期的変調と(b)偏光方向と回折効率の関係および(c)kベクトルを放射状に配置したリング型回折格子
図6 (a)配向秩序の周期的変調と(b)偏光方向と回折効率の関係および(c)k ベクトルを放射状に配置したリング型回折格子

 図7(a)のような光学配置において、フーリエレンズを用いることで、デジタルカメラ上に遠方回折光を得ることができる。実際に円偏光を入射した際のリング状回折光が、図7(b)のように観測された。基本的な偏光特性を調べるために、波長633nmの光を異なる偏光状態で入射した場合の、リング状回折光の円周上の強度分布のイメージを、図7(c)に示す。

図7 (a)光学系と(b)リング状回折光および(c)リング上の回折光強度分布のイメージ
図7 (a)光学系と(b)リング状回折光および(c)リング上の回折光強度分布のイメージ

円周上の強度分布は、まさに偏光子を回転させて透過光強度を逐次測定した結果と一致しており、これにより、入射光の偏光状態(直線・楕円・円偏光)をワンショットの光強度分布から検出可能であることが実証された10)。 (但し、ここでは、図6(b)の赤線グラフのように、格子の周期方向と入射直線偏光の向きが直交した場合に、最大の回折光強度が得られる条件となっているため、入射光の偏光方位角と円周上の方位角はπ/2だけズレており、この点だけ一意的な補正が必要となる。)

3.2 応用分野

 前節では、単波長による結果を示したが、多波長の光を用いた場合の結果を、図8(a)に示す。入射光として、p偏光(水平偏光)の白色光を用いた。単波長の場合(図7(b))に比べて、太いドーナツ状の回折光が観測されており、その偏光特性に基づいて、水平方向の光強度が弱くなっていることが分かる。波長フィルターを用いて、実験的に解析すると、このドーナツ状リングは特定の半径 r において、各波長の情報を示していることが明らかとなった。即ち、図中に付加された波長軸に沿って、所望の波長の偏光情報を抽出できることを示しており、ワンショットの回折光写真から、波長毎の偏光状態を図7(b)に示したようなイメージで同時に検出できることになる。

図8 (a)白色光によるリング状回折光(p偏光入射時)と(b)波長毎に検出される偏光状態のイメージ
図8 (a)白色光によるリング状回折光(p 偏光入射時)と(b)波長毎に検出される偏光状態のイメージ

このような偏光素子は、分子配向と波長分散が関連する材料分野の計測技術に応用できると期待される。また、近年はLEDの分野でも将来的に偏光発光の機能性が期待されつつあり、商業化においては、その偏光特性評価における技術開発・装置開発が必要となると想像される。当該素子の原理は、この評価装置の要素部品として応用可能であり、今後の展開が期待できる。
 本研究は、徳島大学ポストLEDフォトニクス研究所と林テレンプ株式会社の共同研究によるものであり、共同研究者および協力者の皆様に感謝の意を申し上げます。

4.分光円偏光を同時に生成する偏光素子

4.1 分光円偏光の現状

 液晶ディスプレイを中心に、直線偏光によるクロスニコル配置を利用した光制御は広く利用されているが、一方で、あまり応用が進んでいないのが円偏光であると言える。キラル物質の分析に用いられる円二色性スペクトルメータの例を除くと、一般的には円偏光を用いる例は少ない。しかしながら、近年、円偏光発光の分野における基礎研究が加速しつつあり11)、今後その利用用途が開拓されていく可能性が高い。
 円偏光における光学異方性(すなわち円二色性や円複屈折)などの利用が進まない一因として、円偏光の生成が難しい点が挙げられる。単波長の光であればλ/4板を用いることで、簡便に得られるが、多波長の光においては、現行の円二色性スペクトルメータのようにモノクロメータと偏光変調器を組み合わせて時間軸上で波長毎に左右円偏光を展開して用いるのが一般的である(図9)。従って、多波長の光について、左右円偏光を同時に生成するとなると、極めて困難な課題となる。

図9 時間的に展開された分光円偏光
図9 時間的に展開された分光円偏光

4.2 空間展開された分光円偏光と応用分野

そこで我々は、この問題を解決するために、図10(a)に示す様に、従来時間的に展開されていた分光と偏光を、空間的に展開する回折型の偏光素子を検討することとした。最終的に、周期的な光学異方性の変調からなる格子ベクトルを近接して組み合わせることを着想し、これを実現した。

図10 (a)空間的に展開された分光円偏光と(b)逐次分光測定への応用および(c)試作した偏光素子よる分光円偏光の発生
図10 (a)空間的に展開された分光円偏光と(b)試作した偏光素子による分光円偏光の発生および(c)逐次分光測定への応用

 前述の格子ベクトルを近接して組み合わせた素子を作製すると12)、図10(b)に示すように、分光された左右の円偏光を同時に一つの光スポットの中に発生できることを実証した。これにより、まさに図6(c)に示す様な多波長における左右円偏光の同時利用が可能となり、円二色性スペクトルメータの高速化・ハイスループット化といった明示的な課題に留まらず、新たな光計測や情報処理応用の提案に発展すると期待される。
 自然界では、天然キラル物質のほかにも、昆虫の甲殻やシャコの視覚といった円偏光に対する明確な機能性が発現している事例が確認されており、我々が未だ認知していない偏光機能性が他にも存在している可能性が高い。本研究のような偏光素子の開発が新たな偏光機能性の研究につながると期待される。
 本研究の一部は、科研費(20H02767)の助成を受けたものであり、共同研究者および協力者の皆様に感謝の意を申し上げます。

5.おわりに

本稿では、我々が開発した偏光計測・画像計測技術およびこれに関連する偏光素子の開発について概要を説明した。改めて振り返ると、偏光というベクトル波の応用研究は、光源の普及した可視・近赤外波長領域であっても未だ現在進行形であり、その先には深紫外や赤外およびテラヘルツ波といった、次世代の波長領域が広がっていることに気付かされる。それぞれの波長領域は、電磁波という共通点を有しながらも、個々に多彩な特徴を有しており、その応用展開はまさに無限の可能性を秘めている。今後は、適用する波長領域の拡大も含めて研究を展開し、当該分野の更なる発展を目指す方針である。



参考文献

  1.  H. Suzuki, A. Emoto, N. Furuso, D. Koyama, and M. Ishikawa, “Polarization information landscapes expanded from single-shot images of ring-like diffraction patterns,” OSA Continuum, 4(2021)2796-2804.
  2. http://cplmaterial.org
  3. 特願2021-097787


【著者紹介】
江本 顕雄(えもと あきら)
徳島大学 ポストLEDフォトニクス研究所(pLED) 特任講師
https://www.pled.tokushima-u.ac.jp/

■略歴
2006年長岡技術科学大学博士後期課程修了。博士(工学)。
物質・材料研究機構NIMSポスドク研究員、産業技術総合研究所特別研究員、同志社大学理工学部准教授等を経て、2019年4月より現職。

専門分野は、応用光学。偏光や分光等の光学物理と、液晶や高分子などの有機材料の相互作用を利用した、光計測・センシング技術・デバイス開発などの研究に従事。




【著者紹介】
福田 隆史(ふくだ たかし)
国立研究開発法人産業技術総合研究所 センシングシステム研究センター
バイオ物質センシング研究チーム

■略歴
1996年 東京工業大学 理工学研究科 博士修了、博士(工学)。 日本学術振興会特別研究員、物質工学工業技術研究所 研究員、産業技術総合研究所 主任研究員、新エネルギー産業技術総合開発機構 主任研究員(転籍出向)等を経て、2021年4月より現職。過去に、応用物理学会 代議員、有機分子バイオエレクトロニクス分科会 常任幹事、日本光学会 理事などを歴任。

専門分野は、バイオセンシング・応用光学・光計測・光機能性材料/デバイス。近年では、工業分野以外にも、農業・医学・環境などの各分野における学際研究や企業連携を推進しており、社会で実際に活用される技術の開発に専念している。

画像認識・計測の自動車応用 (2)

(一社)次世代センサ協議会
理事 技術委員
前田 賢一

5.位置の計測

動きの計測とともに、場合によってはそれ以上に重要なのは位置の計測である。画像を使う位置の計測で通常使われるのは、いわゆるステレオ視である。端的に言えば三角計測ということになる。ここでは、よく使われる複数のステレオ技術について説明する。

図10に示すのが、いわゆるステレオカメラの概念図である。2台のカメラ(ステレオカメラ)を使うのが特徴である [実吉敬二, 2016]。

図10.ステレオカメラの概念図
図10.ステレオカメラの概念図

カメラの撮像面は2次元であり、そこに距離の概念はない。しかし、左右2台のカメラで同じ点を撮影すると、左右のカメラの撮像面での位置が異なる。その差を「視差」と言い、それが対象物までの距離を求めるキーとなる。以下に具体例で計算方法を示す。

見やすくするために図を単純化する(図11(a)参照)。ここで、図中のb はベースライン(カメラ間の距離)、f は焦点距離、s は視差、D は求めたい対象物までの距離である。

図11.単純化したステレオカメラの関係図
図11.単純化したステレオカメラの関係図

図11(b)に示すように、二つの三角形の相似関係から、求めたい距離は、D = b f / sという簡単な式で計算することができる。

広い意味のステレオ技術には別の方法もある。ステレオカメラは、使うことができれば理想的であるが、コストの問題などから1台のカメラしか使えない場合がある。あるいは、先に説明したステレオカメラでベースラインが正確に測れない場合にも同じ原理が使える。たとえば複数の航空写真から3次元的な地形のモデルを作る場合にも使われる。1台のカメラで距離を求める場合には、制限がある。第一はカメラと対象物との間で相対的な運動(Motion)が必要だということである。この方法はShape from MotionあるいはStructure from Motion(いずれも略記はSfM)と呼ばれている [Tomasi & Kanade, 1992]。適当な短い日本語名称がないので「多視点からの3次元形状復元」というような長い訳が使われることもある。図12にSfMの概念を示す。図中にカメラは2ヶ所しか描かれていないが、通常はもっと多くの撮影を使う。

図12.SfMの概念図
図12.SfMの概念図

第二の制限は運動中に対象物の形状が変化しないということである。第三の制限は求まる距離が相対的な値であるということである。数学的にはやや複雑なので、詳細は参考文献 [Tomasi & Kanade, 1992]に譲るとして、SfMの原理と制約が生じる理由の概略を説明する。原理が複雑になるのは、三角計測の計算に必要なベースラインがわからないからである。そのため求める距離とベースラインとの両方を組にして解く必要がある。

図13は重要な概念であるエピポーラ線(Epipolar Line)を説明するものである。

図13.SfMの原理(エピポーラ線)
図13.SfMの原理(エピポーラ線)

対象とする点 p0 を二ヶ所からカメラで撮影したカメラ内の点をp1p2とする。図中の左側にあるカメラに注目すると、p1の位置に写るためには対象となる点p0が直線 L 上のどこかにある必要がある。この直線を右側のカメラで写したものが直線 L’である。この直線をエピポーラ線という。両方のカメラに写った点の座標を変換する行列とエピポーラ線上に点があるという条件から「基本行列」E を定義することができ、E からカメラの動き(ベースラインに相当する情報)を知ることができる。

ここで、もっと簡単なステレオ法を紹介する。車が走る際に障害となるのは、高さを持った障害物である。逆に言えば、地面に描かれた模様や文字は走る障害とはならない。したがって、カメラに写ったものが高さを持っているかどうかが障害物と判定するための最大のポイントとなる。ここで紹介する方法は「平面投影ステレオ」と呼ばれるものである [Onoguchi, etal, 1998]。

その原理を図14に示す。左右のカメラに写った画像は、3次元的な情報を失っているので、ある点 P が道路に対して高さを持っているかどうかわからない。それを逆手にとって、P は地面に描かれた絵だと思うことにする。

図14.平面投影ステレオの原理
図14.平面投影ステレオの原理

左側のカメラで PL に写るためには、地面の上の P1 という位置に描かれていないといけない。同様に右カメラで PR に写るためには、 P2 に描かれている必要がある。 P1 と P2 との差を見ると、P が地面に描かれたものか高さを持った障害物かを見分けることができる。計算は両カメラ画像の地面(Road Plane)への変換後の差を取るだけで良く、極めて容易である。

6.ブロックマッチング

オプティカルフローにもステレオにも必要な技術として対応点探索がある。ここまでの説明では、それぞれの方法の原理を説明するために、特徴的な点が一つしかなく、その対応は取れているものとしてきた。実際には複数の点を画像中で対応付する必要があり、それは一般的にはそれほど簡単なことではない。

まず、対応付によく使われるブロックマッチング(テンプレートマッチング)の考え方を紹介する(図15参照)。

図15.ブロックマッチングの基本
図15.ブロックマッチングの基本

矢印形の図形の先端が特徴点だとして、左側と右側との図形の対応を取る場合を考えてみる。オプティカルフローであれば、移動前と移動後との対応、ステレオであれば、左右のカメラの対応ということになる。

簡単のために3×3の領域(ブロック)を考え、その中心に特徴点があるとする。このブロックと同じパターンがどこにあるかを探索するのが対応付である。2つの領域の比較計算方法には何種類かあるが、よく使われるのは、SAD(Sum of Absolute Difference)と呼ばれるものである。SAD 以外に、SSD(Sum of Squared Difference)、NCC(Normalized Cross Correlation)という計算方法がある。計算量の観点からは、SADが最も簡単であり、NCCが最もたいへんである。精度の観点からは逆の順序になるので、実際の応用に即して計算方法を決定する必要がある。

対応付が簡単でない理由の一つとして、ブロックマッチングの泣き所がある。それは周期的(繰り返し)パターンである(図16(a)参照)。

図16.周期的パターンと実例
図16.周期的パターンと実例

こういう場合には、複数の対応付ができてしまう。これを多義解釈とも言う。実際の例としては図16(b)に示すような虎縞がある。不具合を避けるためには、繰り返しがない部分(両端など)を特徴として使うなどの工夫が必要である。

7.まとめ

自動車の自動運転に関連する画像認識や画像計測の原理と応用の概略を説明した。
まず、最近注目される深層学習によるAIの説明と応用例を紹介した。AIは注目すべき技術ではあるが、現在までのところ理論的な原理解明の途中である。計算量も多く、また学習データを大量に必要とするという問題点が指摘されている。そのため、実際の応用を考えた場合に必ずしも最適であるとは限らない。

特に画像計測では、オプティカルフローやステレオが使われることが多く、これもいくつかの方法と応用を説明した。ただし、これらの方法も、また万能ではない。重要なのは、利害得失を考慮した上で、複数の方法から適したものを選択することである。場合によっては、本稿で紹介できなかった方法を使ったり新規開発したりすることも必要になるかも知れない。また、広くセンシングという観点からは、画像センシングに限定せず、電波やレーザー系のセンシングが必要になることもある。



参考文献

Amari, S., 1967. Theory of adaptive pattern classifires. IEEE Transactions, Issue EC-16, pp. 299-307.
Badrinarayanan, V. etal, 2017. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Scene Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39[12], pp. 2481-2495.
D.マッケイ,V.マッケイ編, 1993. ビハインド・アイ. 出版地不明:新曜社.
Fukushima, K., 1980. Noncognition: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position. Biological Cybernetics, Issue 36, pp. 193-202.
Onoguchi, K. etal, 1998. Planar projection stereopsis method for road extraction. IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, Issue E18D, pp. 1006-1018.
Rosenbratt, F., 1958. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Psychological Review, 65[6], pp. 386-408.
Tomasi, C. Kanade, T., 1992. Shape and Motion from Image Streams under Orthography: a Factorization Method. International Journal of Computer Vision, 9[2], pp. 137-154.
実吉敬二, 2016. ステレオカメラによる自動運転車実現の可能性. エレクトロニクス実装学会誌, 19[6], pp. 398-402.
藤吉弘亘,他, 2013. 電子情報通信学会知識ベース「知識の森」2群-2編-4章 動画解析. [オンライン]
Available at: http://www.ieice-hbkb.org/portal/doc_590.html
[アクセス日: 10 4 2013].
二宮芳樹,太田充彦, 1997. オプティカルフローによる移動物体の検知. 出版地不明, 電子情報通信学会, pp. 25-31.



【著者紹介】
前田 賢一(まえだ けんいち)
一般社団法人 次世代センサ協議会 理事、技術委員

■略歴
1976年 東京工業大学大学院修士課程修了
1976年 東京芝浦電機株式会社(株式会社 東芝)入社
総合研究所(研究開発センター)所属
1989年~1991年 英国エジンバラ大学 客員研究員
1999年~2000年 東芝 関西研究センター長
2000年~2002年 電子情報通信学会 和文論文誌D 編集委員長
2002年~2004年 電子情報通信学会 情報・システムソサイエティ副会長(技術担当)
2004年~2011年 東芝 研究開発センター 技監
2004年~現在IEEE Senior Member
2005年~2008年 Treasurer, Japan Chapter of Computational Intelligence Society, IEEE
2007年 東京工業大学大学院博士課程修了(博士(工学))
2009年~現在 電子情報通信学会フェロー
2012年 Award Chair, ICPR 2012
2012年 Guest Editor, Special Issue, Pattern Recognition Letters
2016年 株式会社 東芝退職
フリーランスのコンサルタント(現職)
2017年~2020年 中央大学 客員研究員
2017年~現在一般社団法人 次世代センサ協議会 技術委員
2019年~現在一般社団法人 次世代センサ協議会 理事

人工知能技術を用いた医用画像処理 (2)

大阪市立大学医学部附属病院
片山 豊

5.研究紹介

 このセクションでは,私が取り組んでいる研究を紹介する.
 AI を用いた研究には一貫した基準で継続的にデータを取得し続けることが必要であるが,通常の臨床検査で教師データを収集できないため教師データに医用画像を使用しない AI技術 (5-1) および AI を使用しない解決方法を用いた場合 (5-2) について記す.

5-1.超解像を用いたノイズ低減処理 13

 高精細なディスプレイパネルが実用化されているが表示されるコンテンツの解像度は大きく変化しておらず低解像度コンテンツの表示にはアップサンプリング処理が適用される.アップサンプリング処理の中でも入力画像を分析しながら標本化により失われた高周波成分の情報を推定したアップサンプリング処理である超解像が注目されている.しかし,医用画像に特化した AI モデルを作成するのに必要な教師データが取得できない.具体的には,超解像モデルを作成するために必要な高解像度画像は,撮影装置 (放射線医療機器) の幾何学的制約 (主に検出器に起因した制約) により取得できない.また,ノイズ低減モデルを作成するために必要な低ノイズ画像は,患者さまの被ばく線量を低減する観点から取得することは不可能である.別の観点とし,AI を用いたデノイズ処理は未だ不自然さが発生するため,医用画像処理としては不適切だと考える.
 本稿では医用画像に特化した教師データが取得できないことから,自然画像のみから学習した超解像モデルを使用して,放射線画像の中でも,核医学検査の一種である PET 画像に対してボケの少ないノイズ低減処理を提案した (Fig. 1).

Fig. 1 元画像と従来手法適用画像と提案手法適用画像の供覧
Fig. 1 元画像と従来手法適用画像と提案手法適用画像の供覧 提案手法を適用した画像は従来手法を適用した画像に比べて,統計ノイズが少なく解像度の低下も見られず目標画像と類似している.

 本稿で用いたモデル学習では,元画像群に対して四方 4 ピクセル分の画素値を加算することで低解像度画像を作成し,元画像と低解像度画像の関係を学習した超解像モデルを作成する (Fig. 2).画素を加算することで解像度は落ちるが,統計ノイズの影響が低減した画像が生成される.また,超解像により高解像度化する際に必要なエッジが強調される.
 統計ノイズの多い PET 画像に対して,モデル作成と同様の方法で低解像度・ノイズ低減画像を作成し,予め作成した超解像モデルを用い超解像を適用することで,統計ノイズの影響が低減された元画像と同じ解像度の画像が生成される.

Fig. 2 提案手法の概要
Fig. 2 提案手法の概要 画素を加算することで解像度および統計ノイズの影響が低減した低解像度画像を再構築する.
再構築された低解像度画像は超解像により高解像度化する切っ掛けとなるエッジ (ジャギー) が生じる.
元画像と画素を加算して低解像度化した低解像度画像の関係を学習させたモデルを用い
統計ノイズの多い画像を高解像度化することで統計ノイズの少ない通常解像度の画像が再構築される.

 提案した方法の有用性を検証するために,Hoffman 3-D Brain Phantom を使用し,PET 画像のデノイズ処理として一般的なガウシアンフィルタを適用した画像と提案手法を適用した画像とを数値評価より比較した.
 提案手法を適用した PET 画像の数値評価の値は従来手法に比べて良好であり (Fig. 3),エッジが保持され統計ノイズに依存することなく一定のノイズ低減効果が得られたことより,旧来手法に比べて有用である可能性が示唆された.

Fig. 3 数値評価
Fig. 3 数値評価 提案手法適用画像は通常処理適用画像に比べて PSNR が高く PSD の形状も目標画像と類似した.
すなわち,数値評価より提案手法適用画像は通常処理適用画像に比べて高性能であると言える.

5-2.二方向の血管造影検査の画像から三次元形状の復元 14

 脳動脈瘤コイル塞栓術は脳動脈瘤に対する標準治療の一つである.本手技は非侵襲的であるが,病変の大きさや形状によっては十分な治療効果が得られず,また重篤な脳虚血合併症が起こり得るなど克服すべき課題が多い.
 本研究ではより安全で効率の良いコイル塞栓術を実現するため,術中に得られる一連の連続画像を用いて同一の特徴点をもつコイルを識別しながら個々のコイルの形状やこれらの相互干渉をリアルタイムに追跡し,可視化するための方法と装置,ソフトウエアを開発することである.
 当初,AI を用いて本課題を解決する方法を考えていたが,当院で行われている脳動脈コイル塞栓術は年間 50 件程度であり,大量のデータを取得することが困難であること,コイルを留置する毎に CT の撮影を行わないので,正しいコイルの形状 (教師データ) の取得が困難であることより,AI 技術ではなく二方向の血管造影像から三次元形状の復元を試みている (Fig. 4).

Fig. 4 三次元形状の復元 LOZEN, Andrew, et al. Y-stent-assisted coil embolization for the management of unruptured cerebral aneurysms: report of six cases. Acta neurochirurgica, 2009, 151.12: 1663-1672. Fig.2 より引用
Fig. 4 三次元形状の復元 観察方向が増えると死角が減り,再構築した三次元モデルの不自然な凹凸が低減するが,臨床検査を対象としているので,2 方向の血管造影像からコイルを抽出する.

6.さいごに

 近年,“AI 技術” と言う名称で総括されることが非常に多い.しかし,医用画像処理に対する AI 技術は,物体検出,画像認識および画像分類などの “画像解析技術” から低解像度画像から高解像度画像の生成や統計ノイズの低減などの “画像処理技術”,敵対的生成ネットワーク (generative adversarial networks: GAN) を用いた “画像変換 (image-to-image translation)” まで多岐に渡る (Fig. 5).文献検索をする際のキーワードは “AI” だけでなく具体的な技術名を足したほうが目的の資料を探すことができると思われる.
 AI 技術を用いて何れの課題を解決する場合でも,AI は統計的に最適解を導き出すシステムであるため,課題に対応した適切な教師データを用意する必要がある.すなわち,学習データを増やすことが見込めない状況や学習データと検証用データが乖離する場合は,5-2 で示したように AI 技術を用いないほうが良い場合があることに留意頂きたい.

Fig. 5 医用画像領域で用いられる人工知能技術
Fig. 5 医用画像領域で用いられる人工知能技術

謝辞
本研究の一部は JSPS 科研費 19K09533 の助成を受けた.


引用文献

  1. 片山 豊, 上田 健太郎, 日浦 慎作, 木村 大輔, 高尾 由範, 山永 隆史, 市田 隆雄, 東山 滋明, 河邉 讓治. PET 画像に対する超解像を用いたデノイズ手法の適用. 日本放射線技術学会雑誌, 2018, 74.7: 653-660.
    https://www.jstage.jst.go.jp/article/jjrt/74/7/74_2018_JSRT_74.7.653/_article/-char/ja/
  2. 脳動脈瘤コイル塞栓術において個々のコイル形態をモニタリングする装置の開発 (19K09533)
    https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-19K09533/


【著者紹介】
片山 豊(かたやま ゆたか)
大阪市立大学医学部附属病院 中央放射線部

■著者略歴
2003 年 大阪大学医学部附属病院,
2004 年 りんくう総合医療センター,
2006 年 北摂総合病院,
2007 年 大阪市立大学医学部附属病院に勤務.放射線技術学会,核医学技術学会に所属.スパースコーディングを用いた医用画像処理の研究開発を 2014年頃より始め,その後,深層学習を用いた医用画像処理の研究開発に 2017 年頃より従事.

偏光カメラ技術と計測 (2)

(株)フォトニックラティス
井上 喜彦

4.ポアンカレ球とこれを用いた偏光の理解

4.1 本章の狙い

 筆者は、実体験として、ポアンカレ球の理解こそが偏光理解の近道であるとも考えているが、一方でポアンカレ球こそが理解の障害になっているという意見を聞くことも多い。そこで、ポアンカレ球を少しでも直感的に理解できるような説明を試みて、これが偏光の応用開発の一助になればと期待する。
 本章では、はじめにあらゆる偏光が2軸の座標平面上の一点で表せることを示し、次にこの平面は球面として捉えること理に適っていることを示す。最後に、前述の「偏光子回転型」と「波長板回転型」の偏光センサが取得できる情報の違いを、ポアンカレ球を用いて直感的に把握できることを示す。

4.1偏光と位相とポアンカレ球

 偏光情報とは、光の波の振動方向の情報である。そして様々な偏光状態は、光の進行方向に垂直な面内に想定した直交2軸方向の、それぞれの振動成分のタイミング(位相)で定義することができる。図4は、直交2成分の位相の違いで、直線偏光/楕円偏光/円偏光などを表せることを示している。
 例えば2軸の成分が同時に0点を通過する位相の場合(図4(c))、その合成成分は斜め45度の単振動になる。これが直線偏光である。また、振動成分の位相が1/4周期前後にずれることで、合成成分は右回り(図4(e))もしくは左回り(図4(a))の円偏光になる。そして、これら以外の全ての位相で、合成成分は楕円を描き、楕円偏光になる。また、直交2軸を縦と横ではなく、別な角度に選択することで、任意の軸方位の偏光状態を表すことができる。従って、直交2軸を設定する角度を横軸に、各直交2軸の振動成分の位相を縦軸に選定した2次元座標は、全ての偏光状態を表すことができ、任意の偏光状態はこの座標上の一点で示される (図5(a))。

図4 直交2成分の位相で決められる偏光状態
図4 直交2成分の位相で決められる偏光状態
図5 偏光の2次元座標表示とポアンカレ球
図5 偏光の2次元座標表示とポアンカレ球

 なお、図5(a)のグラフの右端と左端は同一の偏光状態を表しており、且つグラフの上端は全て右回りの円偏光、下端は全て左回りの円偏光である。従って、このグラフの左右端を円筒状に繋げて、更に上端同士と下端同士を一点に集めるイメージで、平面が実は球面上の座標であることを直感的に把握できる。この球表面に図5(a)のグラフを張り付けたものがポアンカレ球(図5(b))である。図5(a)の平面グラフとポアンカレ球は、平面展開した世界地図と地球儀の関係と同じであり、球面座標系のポアンカレ球の方がより本質的に正しい認識と言える。

4.2 ポアンカレ球を用いた2種類の偏光センサの取得情報の違い

 「偏光子回転型」の偏光センサは、光量センサの前段にある偏光子を回転させたときの光量変化のパターンから偏光情報を推定する。一方の「波長板回転型」の偏光センサは、光量センサの直前には固定の偏光子、更にその前段の波長板を回転させたときの光量変化のパターンから偏光状態を推定する。これらの光量変化のシミュレーション結果を、横軸に偏光子の透過軸方位、縦軸に透過率を選定したグラフで示したものを図6である。
両グラフを比較すると、図6(a)の「偏光子回転型」のグラフでは、(楕)円偏光の左右周りに対して同じグラフ形状が得られており、両者を区別できないことがわかる。一方の図6(b)の「波長板回転型」のグラフでは、左右周りの(楕)円偏光に対して異なるパターンが得られており、これらを識別できる。

図6 偏光子回転型と波長板回転型の出力パターンの比較
図6 偏光子回転型と波長板回転型の出力パターンの比較

 ポアンカレ球を用いると、こうした違いをより直感的に把握することが可能である。「偏光子回転型」で得られる情報は、ポアンカレ球上の各点を赤道面に下した垂線の足の座標情報になる。つまり、地球で考えた場合の北極星の位置に視点を固定して観察している(図7)ことと同じである。そのように考えてみると、赤道面の同じ一点に垂線の足を持つ偏光情報は南北極側にそれぞれ一点ずつあり(図8(a))、これらが区別不能なことは理解しやすい。また、北極星の位置の視点からは、赤道上の点からの南北への変化は、奥行方向の動きになる為に検出不能である(図8(b))。これは直線偏光近傍の位相変化に対する感度が0である「偏光子回転型」の特性に対応する。更に、無偏光成分の混入は、ポアンカレ球上の点が球の中心に落ち込む振る舞いを示すが、これは「偏光子回転型」のセンサにとっては、偏光状態が円偏光に近づく振る舞いと区別ができない(図8(c))。

図7 偏光子回転型の偏光検出のイメージ
図7 偏光子回転型の偏光検出のイメージ
図8 偏光子回転型の欠点
図8 偏光子回転型の欠点

 これに対して「波長板回転型」では、ポアンカレ球上の点を一旦様々な方向に波長板により変化させた後に赤道面に投影している為に、結果的にあらゆる点を識別可能である。つまり、ポアンカレ球面上のあらゆる偏光点を正しく把握できる「波長板回転型」センサに対して、北極星の位置に視点が固定されるのが「偏光子回転型」センサ、と考えることで、各センサの違いを幾何学的に把握することができる。
 こうしたセンサ間の違いの把握だけではなく、ポアンカレ球を理解することで、本稿では割愛するが、複屈折による偏光変化などの様々な偏光情報の振る舞いの把握を、幾何学的に見通すことが可能になる。

5.まとめ

 本稿では、偏光カメラの応用分野や種類を紹介するとともに、偏光の理解の一助となるポアンカレ球について紹介した。偏光応用分野は、ゆっくりではあるが着実に広がりを見せており、そこに偏光カメラやポアンカレ球の知識が役立つと期待する。



【著者紹介】
井上 喜彦(いのうえ よしひこ)
株式会社フォトニックラティス 取締役

■略歴
1993年3月京都大学工学部金属系学科卒。
1993年4月ソニー株式会社入社。磁性薄膜のプロセス開発、材料開発に従事。
2008年4月株式会社フォトニックラティス入社。フォトニック結晶の作製プロセス開発、応用製品開発及びにそれらの営業・販売に従事。
2010年4月同社取締役就任。マーケティング、営業担当。フォトニック結晶応用製品の一つである複屈折計測装置の市場拡大と機能向上とを実現してきた。近年ではアジア圏を中心とした海外マーケティングにも重点を置いた活動に従事。

NSW、産業用スマートグラスRealWearの新製品を提供開始

日本システムウエア(株)〔以下、NSW〕は、RealWear, Inc.のアシステッドリアリティ(現実補助)を活用した次世代ウェアラブルRealWear Navigator™500の提供を本日より開始する。

RealWearは、音声認識による100%ハンズフリーを実現する産業用スマートグラスで、欧米で高いシェアを占めている。NSWは2019年8月より、プラチナパートナーとしてHMT-1およびHMT-1Z1の取り扱いを開始し、現場作業の業務効率化を促進してきた。このたび提供を開始するRealWear Navigator™500は、耐久性を維持しながらスリム化と軽量化を実現することで、現場作業者の安全性と快適性をサポートし生産性向上に寄与する。また、Androidベースのハードウェアとしてモジュール化したことにより、長期的な利用が可能という。

▮主な特長
・革新的なモジュラー式プラットフォーム(特許取得済)により、カメラ、モデム、バッテリーなど特定モジュールの交換が可能
・ホットスワップ可能なバッテリーにより、24時間連続する業務にも対応可能
・48MPセンサを備えた高感度カメラシステムにより、暗い場所での高品質な撮影を可能とし、フルHD(1080p)品質を維持しながら、4倍以上の拡張ズーム、高度なオートフォーカス、強力な映像安定化機能を完備
・より鮮明で、稼働域が広く、調整が容易なディスプレイ
・HMT-1の防塵防水機能IP66の耐久性を維持しながら、約100gの軽量化を実現
・指紋認証機能の搭載により、デバイスへの容易なサインインが可能
・最大100デシベル(dBA)の環境で信頼性の高い音声認識が可能なノイズキャンセリング

▮RealWearに搭載可能なアプリケーションの活用例
・作業現場で対象機器のデータをリアルタイムで見ながら、修理やメンテナンス作業を実行可能
・デジタルワークフロー化により組立作業や検査項目の手順ミスや抜けを防止。撮影した写真による作業報告が可能
・現場の映像や音声をリモートサイトにいる熟練者へ共有。リアルタイムで的確な指示に対応

今後、NSWはRealWear Navigator™500およびHMT-1、HMT-1Z1の販売のほか、IoTプラットフォームToamiやAI、RPAなど各種システムと連携し、利用客のニーズに合わせたアプリケーションの開発を行い、安全で快適な作業の効率化と業務変革を支援していくとしている。

ニュースリリースサイト(NSW):https://www.nsw.co.jp/topics/news_detail.html?eid=691&year=2021

エプソン、産業用途向け高精度小型リアルタイムクロックモジュール、サンプル出荷

セイコーエプソン(株)(以下 エプソン)は、デジタル温度補償水晶発振器(DTCXO※1)を内蔵した、産業用途向けリアルタイムクロックモジュール※2の新ラインアップとして、『RX8901CE』(画像)『RX4901CE』を開発し、このたびサンプル出荷を開始した。

パッケージサイズは、同社リアルタイムクロックモジュールで最小の3.2×2.5×1.0t(Max.)mmで I2C-Busインターフェイスに対応した『RX8901CE』およびSPI-Busインターフェイスに対応した『RX4901CE』をラインアップ、顧客の電子機器の高精度な計時の実現と小型化・低消費電流化に応える。

近年、IoT機器や課金装置、セキュリティ機器などの産業用途向けとして、時刻情報を基に稼働する多くのシステムやアプリケーションでは、高精度な時刻情報の保持が必要とされている。また、車載機器や屋外設置機器など、周辺温度変化の激しい環境下で使用される市場からも、高精度な時刻情報の保持が求められている。さらに、製品の改造や改ざんによる情報漏洩を防ぐためのセキュリティの重要性が高まっており、低消費電流で常に侵入を検知することが必要である。これらの背景により、さまざまな市場において、デバイスの低消費電流化・幅広い動作温度範囲・高信頼性への要望が高まっている。

新製品『RX8901CE』『RX4901CE』は、同社従来品「RX8804CE」と比較して、消費電流は0.35μA(Typ.)から0.24μA(Typ.)へ30%削減し、タイムスタンプ記録回数を1回から最大32回へ拡張した。また、従来のI2C-Busインターフェイスに加え、SPI-Busインターフェイスも用意している。

それぞれ、製品出荷時に1品ごとに時計精度を調整・保証したうえで顧客に届ける。このため、時計精度の調整が不要になり、設計の効率化・品質の向上に貢献するという。

また、同日エプソンは車載向けとしても動作温度+125℃のリアルタイムクロックモジュールのサンプル出荷も発表している。

※1 DTCXO:「Digital Temperature Compensated X’tal(crystal) Oscillator」の略で、水晶振動子の温度に対する周波数の変化を補正する機能を持った水晶発振器・発振回路。TCXOは温度変化に関わらず高精度な周波数を出力するために、温度センサの信号を基に出力周波数を補正する回路を搭載した発振器で、中でもDTCXOは水晶発振の周波数をデジタル回路で補正する方式を用いている。
※2 リアルタイムクロックモジュール:時計・カレンダー機能などを持ったリアルタイムクロックICと32.768kHz水晶振動子を一つのパッケージに内蔵した製品。これにより、発振回路設計、時計精度調整が不要になるとともに、お客様における回路基板のスペース効率を向上できるメリットがある。

ニュースリリースサイト(EPSON):https://www.epson.jp/osirase/2021/211213_2.htm

デクセリアルズ、部品実装に好適な形状加工異方性導電膜(ACF)を製品化

 デクセリアルズ(株)は、特殊な形状にレイアウトされた端子でも効率的な実装を実現する「形状加工異方性導電膜(ACF)」を開発し、製品化した。
 本製品は、端子のレイアウトが直線状ではないカメラモジュールや、各種センサモジュールなどの回路接続用途に適しており、すでにモバイルIT機器での採用が始まっている。

同社の異方性導電膜(ACF)は、接着と対向回路の導通、隣接回路間の絶縁が一度におこなえるフィルム状の接合材料。フラットパネルディスプレイへのICチップ実装に広く使われるとともに、近年はカメラモジュールやタッチパネル、センサモジュールなどの回路接続にも用途を広げている。

《モバイルIT機器等の高密度な部品実装における課題と形状加工異方性導電膜(ACF)》
 現在、スマートフォンに代表されるモバイルIT機器は多機能化が進み、カメラの多眼化や測距センサー、顔認証モジュールなどの多くの部品が搭載されるため、部品密度が向上している。これら多数の部品を基板に実装して回路を接続するにはスペースを有効に活用する必要があり、従来のように端子を直線状に並べるのではなく、四角く配置する、上下二列に配置するなどの工夫が取り入れられている。

 さらにこのような端子が直線状でない部品を通常の直線状のACFで実装する際、ACFを大きく貼り付けて全面貼りで実装すると、端子以外の箇所にも熱や圧力がかかり部品にダメージが加わってしまうことがある。一方で、端子レイアウトにあわせて必要な個所にのみ細いACFを用いると、角度や位置を複数回変えて貼り付ける必要があり、顧客の製造工程での効率が課題となっていた。

 このたび同社が開発した「形状加工異方性導電膜(ACF)」は、これらの課題を解決するべく、実装する形に合わせてACFの形状を加工した製品である。それぞれ独立した個片やロの字など内側が閉じた形状、中央部のACFを無くした二列の形状に加工することで、特殊なレイアウトの端子の効率的な実装が可能となる。(画像)

 本製品は、ディスプレイ向けACFで世界シェアNo.1※1の実績を持つ同社が長年培ってきたACFに関する知見や接着に関する技術を用いて、同じ形状パターンを連続的かつ正確に形成する技術を開発し、製品化を実現した。また、ACFの加工形状を精密にコントロールすることで最細0.5mm幅まで加工できるため、実装部品の形状の自由度向上や、さらなる高密度実装の実現による機器の多機能化、高機能化に貢献する。

《形状加工異方性導電膜(ACF)の詳細》
■製品名
 形状加工異方性導電膜(ACF)

■特長
・端子のレイアウトや基板の形状にあわせてACFを加工することで、効率的な実装を実現
 高密度実装が求められる各種モジュールの特殊な端子レイアウトにあわせて、ACFを加工。多様な形での実装が可能であるため、効率的かつ実装時の部品へのダメージを最小限に抑えながら実装可能。

・最細で0.5mm幅まで加工可能、微細なレイアウトの端子の回路接続にも対応可能
 本製品の最細箇所の幅は0.5mmまで対応可能。現在の通常のACF(直線状のACF)の最細スリット幅と同様の幅であり、微細な箇所の回路接続にも対応可能。

・ロの字型など、中抜き加工も可能
 周囲のACFがない個片やロの字など内側が閉じた中抜き加工をした形状、中央部のACFを排除した二列の形状への加工も可能。お客さまの部品形状や用途に合わせて自在にACFを加工することができるため、実装部品の形状の自由度向上や、さらなる高密度実装の実現による機器の多機能化、高機能化に貢献する。

※1 株式会社富士キメラ総研発行「2021ディスプレイ関連市場の現状と将来展望」による、大型および中小型ディスプレイ向けACFの合計の2020年の金額シェア。

ニュースリリースサイト(dexerials):https://www.dexerials.jp/news/2021/news21047.html

アトラックラボとS-Techno Factory、地表計測用小型無人車両(Q-Base)を共同で開発

(株)アトラックラボは、S-Techno Factoryと共同で、地表計測用汎用無人車両(Q-Base)を開発した。

Q-Baseは小型の無人車両で、路面状況などの計測を、自動で行うための汎用プラットフォーム。地表面から数cmの位置で計測機を保持するなどの機構を搭載できる汎用シャーシとなっている。
モーター駆動部などの部品は、15mm角のアルミフレームに組み付けられるようなアタッチメント形式になっており、計測器、センサの形状に合わせて車両幅(200mm〜1000mm)、長さ(400mm〜1200mm)、高さ(200mm〜800mm)の間で自由に設定可能となっている。
制御系は、RTK-GNSSによる自動運転、LiDARを用いたSLAMなどにも対応しており屋外/屋内の計測に適応する。

ニュースリリースサイト:https://prtimes.jp/main/html/rd/p/000000080.000052796.html