STマイクロエレクトロニクスとLeopard Imagingは、先進的なロボットシステム、特に人間のような動きをするヒューマノイドロボットのために、画期的なオールインワン型マルチモーダル・ビジョン・モジュールを発表しました。この新しいモジュールは、STマイクロエレクトロニクスの持つ優れたイメージング技術、3Dシーンマッピング機能、そしてモーション検知能力を、NVIDIAの「Holoscan Sensor Bridge」テクノロジーと組み合わせたものです。これにより、「NVIDIA Jetson」プラットフォームおよびロボット開発用のオープンなプラットフォーム「NVIDIA Isaac」とのシームレスな統合が実現され、ロボットの「目」となるビジョンシステムの設計が大幅に簡略化され、開発期間の短縮につながると期待されています。
AIロボットの進化を支えるマルチモーダル・モジュールとは？
「マルチモーダル」とは、複数の異なる種類の情報を組み合わせて処理することを指します。このモジュールの場合、ロボットが周囲の環境を認識するために、2Dの映像、3Dの奥行き情報、そして物体の動きという3つの異なる「モード」のデータを同時に取得し、統合して利用できることを意味します。人間が目で見て（2D/3D）、さらに動きを感じ取る（モーション検知）ように、ロボットもより人間に近い形で環境を理解できるようになります。
このモジュールは、特にヒューマノイドロボットのような、サイズや重量、そして消費電力に厳しい制約があるシステムにおいて、ビジョンシステムの設計を簡素化し、開発にかかる時間を短縮する大きなメリットをもたらします。これまで個別に設計・統合する必要があった複数のセンサーと処理機能を一つにまとめることで、開発者はより効率的にロボットの知能開発に集中できるようになります。
STマイクロエレクトロニクスのアナログ・パワー・MEMS・センサーグループの担当者は、ヒューマノイドロボットが研究やデモの段階を超え、製造工場、物流倉庫、小売、顧客サービスといった幅広い分野で活用される強力なツールになると見込んでいると述べています。Leopard Imagingとの協力により、市場をリードするSTのセンサー技術とNVIDIAのロボット開発エコシステムが統合されることで、人間のような認識能力を持つ「フィジカルAI」アプリケーションの普及が加速されることでしょう。
Leopard Imagingの最高経営責任者（CEO）は、この開発エコシステム内でSTのセンサー技術を直接利用できるようになったことで、HSBインターフェースを介したヒューマノイドロボットのビジョンデータ取得とログ収集が標準化され、効率が向上したとコメントしています。これにより、ロボット開発者は「NVIDIA Isaac」ツールとこのマルチセンシング・ビジョン・モジュールを組み合わせることで、学習時間の短縮や、シミュレーションで開発したものを現実世界に適用する際のギャップ（Sim-to-Realギャップ）を短期間で解消できると期待されています。
NVIDIA JetsonとIsaacプラットフォームとのシームレスな連携
この新しいモジュールは、NVIDIAの「Holoscan Sensor Bridge」を搭載しており、イーサネット（有線LAN）経由で「NVIDIA Jetson」とスムーズに接続し、リアルタイムでセンサーデータを取り込むことが可能です。NVIDIA Jetsonは、エッジAI（デバイスの近くでAI処理を行うこと）を可能にする高性能な組み込みプラットフォームであり、ロボットが迅速かつ自律的に判断を下すために不可欠な存在です。
さらに、このモジュールはロボット開発用のオープンなプラットフォームである「NVIDIA Isaac」とも統合されています。NVIDIA Isaacは、開発者向けにオープンなAIモデル、シミュレーションフレームワーク、ライブラリを提供しており、ロボットの設計からテスト、展開までを包括的にサポートします。具体的には、ビルドシステム、アプリケーションプログラミングインターフェース（API）、移動ロボット用に最適化されたAIアルゴリズム、サンプルアプリケーション、さらには多様な環境でのテストを可能にするシミュレーション環境（ドメイン・ランダム化やセンサーモデルを含む）などで構成されています。
STマイクロエレクトロニクスは、今後もNVIDIAの主要パートナーとして、ロボットおよびエッジAI分野において協力関係を深めていく意向です。STのセンサー、ドライバー、アクチュエーター、コントローラー、開発ツールと、NVIDIAのロボット開発エコシステム（高忠実度モデルや概念実証モジュールを含む）との統合をさらに進めていくことが期待されます。
搭載される主要な技術要素を詳しく解説
Leopard Imagingのこのビジョンモジュールには、STマイクロエレクトロニクスが誇る以下の先進技術が組み込まれています。これらの技術が連携することで、ロボットはより高度な認識能力を獲得します。
1. ビジョンベースのセンシング機能：ロボットの「視覚」を司るイメージセンサー
ロボットが周囲を「見る」ための核となるのがイメージセンサーです。このモジュールには、STの車載グレードRGB-IR 5.1メガピクセルのイメージセンサー「VB1940」が組み込まれています。このセンサーは、以下の二つの方式をサポートしています。
-
ローリングシャッター方式: 一般的なデジタルカメラで使われる方式で、画像を上から順に読み取ります。高速で動く物体を撮影すると歪みが生じることがありますが、高解像度を実現しやすい特徴があります。
-
グローバルシャッター方式: 画面全体を同時に露光・読み取りする方式です。高速で動く物体を撮影しても歪みが生じにくいため、ロボットが動きながら正確な画像を捉えるのに適しています。
さらに、「ST BrightSense」製品ファミリーの一部として、一般市場および産業用途向けに「V**943」も提供されています。このセンサーは、モノクロまたはRGB-IR（赤外線も捉えるカラー）のオプションがあり、ダイ（チップ単体）またはパッケージ（部品として組まれた状態）で利用可能です。
これらのイメージセンサーは、ロボットが周囲の物体を識別したり、環境のテクスチャを認識したりするために不可欠な情報を提供します。特にRGB-IR機能は、人間の目には見えない赤外線情報も利用できるため、暗闇での視認性向上や、特定の素材の識別など、より多様な環境認識が可能になります。
2. モーション検知機能：ロボットが「動き」を感知する
ロボットが自身の動きや周囲の物体の動きを正確に把握するために重要なのがモーション検知機能です。このモジュールには、6軸IMU（慣性センサー）「LSM6DSV16X」が搭載されています。IMUは、加速度センサーとジャイロセンサーを組み合わせたもので、ロボットの傾き、方向、加速度といった運動状態を検出します。このIMUには、以下のような高度な機能が内蔵されています。
-
STの機械学習コア（MLC）： センサー自体がAI処理の一部を行う「エッジAI処理」を可能にします。これにより、取得したデータの一部をセンサー内部で処理できるため、メインのプロセッサの負担を軽減し、より迅速な判断や低消費電力化に貢献します。
-
低消費電力センサーフュージョン（SFLP）： 複数のセンサーからの情報を効率的に統合し、消費電力を抑えながら高精度なモーション検知を実現します。
-
Qvar静電センシング機能： ユーザーインターフェースの検出などに利用される静電容量の変化を捉える機能です。ロボットが人や物体に触れたことを感知するなどの応用が期待できます。
これらの機能により、ロボットは自身の姿勢を安定させたり、周囲の動く物体を追跡したり、あるいは人とのインタラクションにおいて触覚のような情報を得たりすることが可能になります。
3. 3D深度センシング機能：ロボットが「距離と奥行き」を測る
ロボットが安全に移動したり、物体を操作したりするためには、周囲の物体との距離や空間の奥行きを正確に把握することが不可欠です。このモジュールには、dToF（direct Time-of-Flight）オールインワン型LiDARモジュール「VL53L9CX」が搭載されています。これは「ST FlightSense」製品ファミリーの一部であり、以下の特徴を持ちます。
-
高精度測距： 最長9mまでの距離を非常に高い精度で測定できます。
-
3D深度センシング： 距離だけでなく、空間全体の3D形状を把握することが可能です。
-
高解像度： 54 x 42ゾーン（約2,300ゾーン）という高い解像度で、詳細な深度マップを作成できます。
-
広い視野角： 55° x 42°という広い視野角を持つため、広範囲の環境を一度にスキャンできます。
-
高い角度分解能： 1°という高い角度分解能により、遠くの小さな物体も正確に検出できます。
-
高速検出： 短距離から長距離まで、小さな物体の検出を最大100fps（1秒間に100回）という高速で行えます。
この3D深度センシング機能は、ロボットが障害物を回避したり、特定の物体をピックアップしたり、あるいは空間内で自身の位置を正確に特定したりする上で、非常に重要な役割を果たします。特にヒューマノイドロボットが複雑な環境で人間と協調して作業を行うためには、このような高精度な3D認識能力が不可欠です。
STマイクロエレクトロニクスとLeopard Imagingについて
STマイクロエレクトロニクス
STマイクロエレクトロニクスは、世界的に事業を展開する総合半導体メーカーです。約48,000名の従業員を擁し、広範なサプライチェーンと最先端の製造設備を保有しています。同社は、約20万社を超える顧客や数千社のパートナー企業と協力し、スマート・モビリティ、電力エネルギー管理の効率化、クラウド接続型自律デバイスの普及を可能にする半導体ソリューションの開発とエコシステムの構築に取り組んでいます。カーボンニュートラル達成に向けた取り組みも進めており、2027年末までに再生可能エネルギーの使用率を100％にする計画です。より詳しい情報は、STのウェブサイトをご覧ください：https://www.st.com/content/st_com/ja.html
Leopard Imaging Inc.
Leopard Imagingは2008年に設立され、シリコンバレーに本社を置くAIビジョンイノベーションの世界的リーダーです。自律機械、スマートドローン、AI搭載IoT、ロボット、オートメーション、医療技術といった分野で、コンピューテーショナル・イメージング性能の向上に注力しています。詳細については、Leopard Imagingのウェブサイトをご覧ください：http://www.leopardimaging.com/
まとめ
STマイクロエレクトロニクスとLeopard ImagingによるNVIDIA Jetson対応マルチセンサーモジュールの発表は、ヒューマノイドロボットをはじめとする先進的なAIロボット開発において、大きな一歩となるでしょう。2D画像、3D深度、そしてモーション検知という人間のような多角的な認識能力を一つのコンパクトなモジュールに統合することで、ロボットの「目」はこれまで以上に賢く、そして柔軟になります。この技術が、将来的に私たちの生活のあらゆる場面で活躍するAIロボットの普及を加速させることに期待が高まります。
