HumansXドキュメントセンター English公式サイトへ ↗

LITCHI EGO

頭部装着型の一人称視点データ収集デバイス。 見たもの・行ったことを、そのまま学習データに。RGB × 4・深度・IMU・音声を同期して記録し、データ収集グローブ T1 Proと組み合わせれば手の動きまで同じ時間軸で取得できます。

人の視点で、作業のすべてを記録する。

LITCHI EGO は、LITCHIが開発した頭部装着型のデータ収集デバイスです。広角 RGB カメラ4台と構造化光ステレオ深度カメラ1台のハイブリッド構成で、両手・身体・作業空間を一人称視点でまるごと記録します。

データ収集グローブ「LITCHI T1 Pro」と組み合わせれば、映像・深度・慣性・手の動きを同期誤差 1 ms 未満の同じ時間軸で取得可能。模倣学習や VLA など基盤モデル向けの学習データ構築に、そのまま活用できます。

  • RGB × 4 + 深度カメラ × 1 のハイブリッド構成
  • 9軸 IMU(500 Hz)・マイク4基を内蔵
  • 重量 400 g 未満、磁気着脱式バッテリーで連続収集

おすすめは「EGO + T1 Pro」のセット

EGO が「何を見て、どこで作業したか」を、T1 Pro が「手がどう動き、どこにどれだけの力で触れたか」を記録します。2つのデバイスは同期誤差 1 ms 未満の同じ時間軸でつながり、ロボットの模倣学習にそのまま使えるデータになります。

EGO で記録一人称の RGB 映像(×4)・深度・頭部の動き(9軸 IMU)・音声
T1 Pro で記録11 IMU による手指の関節角度・手の3次元位置姿勢・両手の同期動作 + 手のひら全面 368 点の触覚
組み合わせると「見る → 手を伸ばす → つかむ → 力をかけて操作する」までを1つの時間軸で記録。後処理での位置合わせが不要に
模倣学習・VLA の学習データヒューマノイド・双腕ロボットに、人の「見る」と「手の動き」をセットで学習させるためのデータを構築できます。
接触を伴う作業の記録つかむ・押す・組み付けるといった作業で、どこにどれだけの力がかかったかまで記録。組立・食品加工・ラボ作業などに。
ロボットの近くでも安定T1 Pro は磁気センサを使わない方式のため、モーターや大電流配線の近くでも安定。遠隔操作と並行したデータ収集にも向いています。

※ 収集の立ち上げから加工・注釈まで任せたい場合は、データ収集サービスもご利用いただけます。構成のご相談は HumansX までお気軽にどうぞ。

一人称視点で、ここまで記録できる

実際の作業現場で LITCHI のデバイスを使って収集したデータです。RGB 映像・深度・点群を同期して記録し、そのまま学習データとして活用できます。

※ 映像:LITCHI 提供の収集データ(RGB 映像・最適化深度・点群)

広く、深く、正確に。一人称データのための設計

視野・深度・動き・同期。学習データに必要な要素を、1台の頭部装着デバイスに集約しました。

広い視野RGB カメラ1台あたり水平 165°/垂直 130°。4台の配置で、手元から周囲の作業空間までを死角少なく記録します。
  • 最大 1920 × 1200 @ 30 fps
  • グローバルシャッター
深度センシング構造化光ステレオ深度カメラが、1.5 m 以内の近距離作業で物体の位置・距離・接近の様子を高精度に捉えます。
  • 空間精度 < 0.5%(1 m)
  • 1280 × 800 @ 30 fps、H 90° / V 65°
動きの記録グローバルシャッターで速い動きでも歪みやブレを抑制。9軸 IMU が頭部の動きを同時に記録します。
  • 9軸 IMU 500 Hz
  • 画像と IMU の同期 < 1 ms
マルチデバイス同期一人称映像・深度・慣性・手の動作を同じ時間軸で記録。マルチモーダル学習の後処理(位置合わせ)の手間を減らします。
  • EGO × T1 Pro 同期 < 1 ms
  • 外部トリガー入力に対応

長時間・多回数の収集でも、安定して使える

軽量・安定装着400 g 未満の本体と自己適応型の構造で、装着者を選ばず長時間の負担を軽減。外部パラメータが安定し、収集状態を一定に保ちます。
自己キャリブレーション長期使用に備えた自己キャリブレーション機能を搭載。カメラ・センサ間のずれを再校正し、パラメータのドリフトを抑えます。
止まらない連続収集磁気着脱式バッテリーを採用。バッテリー交換中も収集を継続でき、作業を中断せずに長時間のデータ収集が可能です。
ワンタッチで収集管理ボタン1つで収集を開始・停止。タスクごとにセッションを自動命名して保存し、USB・無線どちらからでもデータを取り出せます。

人の視点から、モデルの能力へ

  • 実世界データセットの構築:地域・業種・作業をまたいだ実作業を大規模に記録
  • マルチモーダル・物理世界モデルの学習:視覚・深度・慣性・音声の同期データを提供
  • 人の作業行動の研究:実環境での観察・移動・操作のプロセスを再現
  • ロボットの操作学習:T1 Proと組み合わせ、模倣学習・タスク学習のデータ基盤に