LEDビジョンから送信される“見えない”データをカメラで受け取る「Luminary AR」技術

 東京農工大学 大学院工学研究院先端情報科学部門の中山悠准教授は、カメラの撮像素子であるCMOSイメージセンサを受信機に用いる光カメラ通信(Optical Camera Communication;OCC)をベースに、LEDビジョンから送信される“見えない”データをスマートフォンのカメラで撮影して受け取る「Luminary AR」技術を開発した。 この成果により、今後「カメラを構える」動作を契機として、LEDビジョンによる広告配信のほか、テーマパークやイベントにおける情報配信、デジタルスタンプラリーによる地域振興など様々な展開が期待される。また、イメージセンサの活用領域の拡大といった産業上の波及効果も期待されるという。

◇現状  Optical Camera Communication(OCC)とは、送信機にLEDやディスプレイのような光源を、受信機にカメラを用いた可視光通信である。デジタルデータを3色LEDの色へと符号化・変調して光信号として送出し、カメラで撮影した動画像の中から光を抽出し、そのRGB値などから信号を復調・受信する仕組み。 東京農工大学ではこれまでに、CMOSイメージセンサのRAWデータを用いた512色伝送により超多値化の世界記録を達成するなど、基礎技術開発を進めてきた。ただし、ユーザにとって身近なデバイスであるスマートフォンのカメラを受信機に用いるような、実際の活用例が従来ほとんどなかった、という課題があった。

◇研究体制
 本研究は、JSTさきがけJPMJPR2137の支援を受けて、東京農工大学で実施された。また「第7回 AI・人工知能EXPO【春】」の展示は、ニューラルマーケティング(株)の支援により高精細LEDビジョンの提供を受けて実施するもの。

◇研究成果
 本研究チームは、LEDビジョンに投影される映像コンテンツに対して、デジタルデータを埋め込むための符号化・変調方式を開発した。本技術を用いることで、製品広告や企業PR、周辺情報など既存の画像・動画コンテンツをそのまま利用して、カメラを備えたスマートデバイスへのデータ伝送を実現できるようになった(図1)。

◇今後の展開
 本成果により、LEDビジョンから送信される“見えない”データを「カメラを構える」動作によって受け取る、新たなARを展開可能になる。ユーザにとって身近なデバイスであるスマートフォンのカメラを受信機に用い、従来のQRコードなどを一部置き換えることができる。すなわち、世界観を壊さず審美性の高い形態で付与されたデジタルデータを、カメラを構えることで読み取り、広告配信、イベント、エンタメ、地域振興など、幅広い活用が期待されるとしている。

◇用語解説
注1)光カメラ通信(OCC)
送信機にLEDやディスプレイのような光源、受信機にカメラを用いた可視光通信。送信機として3色LEDを用い、データを光信号へと変調して送信するのが一般的な適用形態。
注2)CMOSイメージセンサ
フォトダイオードとアンプにより、電荷を電気信号に変換することで撮像する半導体素子。スマートフォンやデジタルカメラの撮像素子として広く利用されている。

プレスリリースサイト(tuat.ac.jp):
https://www.tuat.ac.jp/outline/disclosure/pressrelease/2023/20230427_01.html