Motor-Skill-Learning

大規模言語モデルによる自律的な動作学習生成 featured image

大規模言語モデルによる自律的な動作学習生成

大規模言語モデル(LLM)・視覚言語モデル(VLM)を用いて、ロボットがタスク指示からデモンストレーションそのものを自動生成し、専門家の教示や事前定義された動作プリミティブに依存せずに動作スキルを学習する研究。アフォーダンスを中核に据えた拡散ポリシーを通じて、模倣学習の精緻な制御性と基盤モデルの汎化能力を統合することを目指しています。

モバイルマニピュレーションのための身体性選択と距離認識世界モデル featured image

モバイルマニピュレーションのための身体性選択と距離認識世界モデル

移動マニピュレーションを行うロボットが、身体性選択(embodiment selection)(移動と腕動作のどちらをいつ用いるか)と動作計画を統合的に学習するための世界モデルベース強化学習の研究。reachability報酬や距離認識報酬を導入し、潜在空間の類似度に依存しない確かな動作スキルの獲得を目指します。

マスク画像を用いたマルチモーダル指示基盤モデル featured image

マスク画像を用いたマルチモーダル指示基盤モデル

視覚言語行動(VLA)基盤モデルに 注意誘導マスク画像を組み込み、自然言語と視覚指示の対応関係を明示化することで、ロボットが指示対象を正確に捉えて操作できるようにする研究。Alphaチャネルを用いたAttention制御を通じて、雑然とした環境下でも言語と視覚に整合した行動の選択を実現することを目指しています。

ヒューマノイドロボットによる運動学習基盤モデル featured image

ヒューマノイドロボットによる運動学習基盤モデル

GPTなどの 基盤モデル をヒューマノイドの運動制御に応用し、歩行や全身動作といった多様な運動タスクに対応する統一的なポリシーを構築する研究。事前学習済みモデルの汎用的な推論能力を活かしつつ、行動データによる微調整で省データかつ多タスクなヒューマノイド制御の実現を目指しています。

ヒューマノイドの全身遠隔操作とデータ収集基盤 featured image

ヒューマノイドの全身遠隔操作とデータ収集基盤

ヒューマノイドや四足ロボットの基盤モデル学習を支える、全身遠隔操作インターフェイスとデータ収集環境の整備に関する研究。安価な外骨格による全身テレオペ、行動木を用いた半自律的なデータ収集支援、テレオペ評価ベンチマークの策定など、行動学習データの量と質を底上げする実装基盤の構築を進めています。