マルチモーダル情報による言語と行動概念の獲得
視覚・聴覚・身体感覚といったマルチモーダル情報を統合した認知アーキテクチャを通じて、ロボットが行動と言語の概念を同時に獲得・接地（symbol grounding）する仕組みを構成論的に明らかにする研究。確率的生成モデルを基盤に、身体経験から立ち上がる概念と言葉の対応を学習する枠組みの構築を進めています。
私たちは、ロボットが実世界で自律的に振る舞うための知能をどう設計し、どう学習させるかに取り組んでいます。模倣学習や強化学習、大規模言語モデル・視覚言語モデル（LLM/VLM）といった基盤モデルを軸に、ロボットが世界を理解し、行動計画を立て、人と協調しながら振る舞う仕組みの構築を進めています。
その背景には「身体をもつ知能はどのように世界とつながり、また人とつながるのか」という問いがあり、知識や概念の学習・運動技能の学習・行動計画と複数ロボット協調・ヒューマンロボットインタラクション という4つの下位領域に分けて研究を展開しています。
知識や概念の学習
人の好奇心を参考にした行動と概念の相補学習
乳幼児が示す好奇心駆動の探索にヒントを得て、ロボットの行動獲得と概念形成を 相補的に進める学習モデルを構築する研究。把持反射のような初期運動と環境の物理特性との相互作用が、行動レパートリーと概念表現の双方をどう形作るかを計算モデルとロボット実験を通じて明らかにすることを目指しています。
運動技能の学習
ヒューマノイドの全身遠隔操作とデータ収集基盤
ヒューマノイドや四足ロボットの基盤モデル学習を支える、全身遠隔操作インターフェイスとデータ収集環境の整備に関する研究。安価な外骨格による全身テレオペ、行動木を用いた半自律的なデータ収集支援、テレオペ評価ベンチマークの策定など、行動学習データの量と質を底上げする実装基盤の構築を進めています。
ヒューマノイドロボットによる運動学習基盤モデル
GPTなどの 基盤モデル をヒューマノイドの運動制御に応用し、歩行や全身動作といった多様な運動タスクに対応する統一的なポリシーを構築する研究。事前学習済みモデルの汎用的な推論能力を活かしつつ、行動データによる微調整で省データかつ多タスクなヒューマノイド制御の実現を目指しています。
マスク画像を用いたマルチモーダル指示基盤モデル
視覚言語行動（VLA）基盤モデルに 注意誘導マスク画像を組み込み、自然言語と視覚指示の対応関係を明示化することで、ロボットが指示対象を正確に捉えて操作できるようにする研究。Alphaチャネルを用いたAttention制御を通じて、雑然とした環境下でも言語と視覚に整合した行動の選択を実現することを目指しています。
モバイルマニピュレーションのための身体性選択と距離認識世界モデル
移動マニピュレーションを行うロボットが、身体性選択（embodiment selection）（移動と腕動作のどちらをいつ用いるか）と動作計画を統合的に学習するための世界モデルベース強化学習の研究。reachability報酬や距離認識報酬を導入し、潜在空間の類似度に依存しない確かな動作スキルの獲得を目指します。
大規模言語モデルによる自律的な動作学習生成
大規模言語モデル（LLM）・視覚言語モデル（VLM）を用いて、ロボットがタスク指示からデモンストレーションそのものを自動生成し、専門家の教示や事前定義された動作プリミティブに依存せずに動作スキルを学習する研究。アフォーダンスを中核に据えた拡散ポリシーを通じて、模倣学習の精緻な制御性と基盤モデルの汎化能力を統合することを目指しています。
行動計画・複数ロボット協調
機械学習を利用したロボットの運動計画
深層ニューラルネットワーク・強化学習・大規模言語モデルといったデータ駆動的アプローチをロボットの運動計画にどう活かせるかを体系的に整理し、新たな計画手法の方向性を探る研究。古典的な探索ベース計画と機械学習ベース計画の長所を組み合わせ、実世界での適応性と汎化性を両立する運動計画の枠組み構築を目指しています。
大規模言語モデルによる複数ロボット協調
大規模言語モデル（LLM）の常識的推論能力と、線形計画法・依存グラフといった構造化された最適化手法を統合し、複数ロボットによる協調タスク計画を実現する研究。自然言語で与えられたタスクをLLMが分解し、ロボット間の依存関係と制約を最適化的に解くことで、現実的な制約下でも実行可能な協調行動の生成を目指しています。
ヒューマンロボットインタラクション
ロボットとの相互作用データを利用した乳幼児の性格推定
子どもとロボットの相互作用から得られる行動データを 説明可能な機械学習（XAI） で解析し、乳幼児の気質・性格を推定する研究。ロボットがどのような関わり方や場面で個人差が顕著に現れるかを明らかにすることで、発達支援や保育現場での個別的なロボット応用に資することを目指しています。
遠隔コミュニケーション支援ロボット
遠隔地にいる人々のコミュニケーションを、ロボットの身体性と対話デザインで支える研究。乳幼児の言語発達を支える遠隔保育ロボットや、初対面の関係構築を促す**「実況遊び」**手法など、人と人のあいだに立つロボットの役割と効果を構成論的に明らかにすることを目指します。
自律ロボットによる意思決定に関わる説明生成
自律ロボットが自らの意思決定の過程や根拠を人に分かりやすく説明できるようにする枠組みを構築する研究。世界モデルの分散表現を介して、ロボットの内部状態や他者の世界モデルの推定を可視化し、信頼可能な人とロボットの協働を支えることを目指しています。
柔軟触覚センサの開発と応用
ロボットと人・環境との豊かな身体接触を実現するための 柔軟触覚センサ の研究。磁性エラストマとインダクタを組み合わせた多軸力覚センサ、液体金属を用いた流路型ソフトセンサ、表面変形を計測する光反射式センサなど、変形可能な材料と新規な変換原理を組み合わせた触覚センシング技術の開発と、ロボットへの応用を進めています。
脳機械インターフェイスを用いた共有自律によるロボット遠隔操作
脳機械インターフェイス（BMI）から得られる操作意図信号は本質的に低帯域・ノイズが大きく、ロボットの細密な制御には不十分です。本研究では、ユーザの 目標推定 に基づきロボット側が動作を適応的に補完する 共有自律（shared autonomy） の枠組みを構築し、BMIを用いたロボット遠隔ナビゲーションの実用性を高めることを目指しています。