リスキリング（再教育）関連サービスを提供する（株）LiNewは、昨年6月から芝浦工業大学と共に研究をしていたLiDAR技術※1を使用した研修システムの生成に関する技術研究報告書を、来月3月1日に開催される電子情報通信学会SeMI研究会※２で発表することとなった。

●共同研究の概要
LiDARと環境センサを併用し、芝浦工業大学に通う学生がカリキュラムを受講している時の姿勢や周囲の環境・心拍数などの身体の状態・動向を収集した。行動周期、気温や気圧などによって学修効果の変化を測定することで、仕事や学習の生産性を向上するシステムの生成を目指した。

今回SeMI研究会で発表する成果は、ある一人の学生から計700秒取得したデータ(=LiDARのデータとして7000フレーム)で深層学習を行い、他の一人の学生のデータに適用し、高精度の状態検知に成功した。また、学修シナリオを想定した20名程度を対象に実施した実験により、2〜12分、最長で30分以上のLiDARデータおよび心拍データを取得した。今後、これらのデータを用いて、生産性を向上するシステムの改良に取り組む。

●共同研究の背景
LiNewでは世の中のITエンジニア不足を解決するために未経験からエンジニア人材としてシステム開発が行えるようになるサービス「educure（エドゥキュア)」※３を提供している。educureは人材派遣会社向けリスキリング（再教育）サービスで、2022年12月の段階で全国92社に導入され、186名のエンジニアを輩出している。

芝浦工業大学新熊教授は、良品計画社や大阪メトロ アドエラ社などの大手企業とIoT、AIに関する共同研究を行うなど、先進的な取り組みをしている。LiNewの保有しているエンジニア育成ノウハウに、芝浦工業大学のセンシングとAI解析技術を組み合わせることで、システム開発時のパフォーマンスを向上させる手法の創出を目指した。

●研究成果の概要
センサとしてLiDARを用い、3次元データから作業中の人の状態を自動検知する深層学習AIのシステムを開発した。シナリオとしてノートパソコンを用いた作業を想定し、コンテンツ閲覧中/マウス操作中/キーボードタイピング中/タッチパッド操作中の4状態を深層学習AIに自動検知させ、97%の精度を達成した。実験では、小型(9.7cmX6.4cmX6.3cm)で安価なLIDARセンサ2機を用いた。LiDARのデータはレーザーが物体で反射した空間座標の集合(点群データと呼ばれる)であり、カメラ画像データと形式が大きく異なる。
点群データに対応した深層学習AIの研究開発はまだ発展途上で、自動運転のための車両検知や歩行者検知が主眼に置かれているため、人のパフォーマンスに着目した本成果は世界的にも極めて先進的である。歩行者や、バイク、乗用車、トラックは大きさや形状がはっきり異なるのに対し、今回の状態は手の位置や体の傾きといった微細な違いしかないため、従来は分類が困難だった。

本研究では、点群データからノイズを除去したり二次特徴を付与したりすることで、上記の高い精度を達成することに成功した。

※1：LiDAR
Light Detection And Rangingの略称
※2：SeMI研究会
2019年4月に設立。センサネットワークとモバイルインテリジェンス研究専門委員会（Sensor Networks and Mobile Intelligence, SeMI）は，知的環境とセンサネットワーク研究専門委員会（ASN研専） ※3：educure
https://lp.educure.jp/

ニュースリリースサイト：https://prtimes.jp/main/html/rd/p/000000024.000068083.html