マスク画像を用いたマルチモーダル指示基盤モデル

2024年1月1日 · 1 分で読める
research

視覚言語行動（VLA）基盤モデルに 注意誘導マスク画像を組み込み、自然言語と視覚指示の対応関係を明示化することで、ロボットが指示対象を正確に捉えて操作できるようにする研究。Alphaチャネルを用いたAttention制御を通じて、雑然とした環境下でも言語と視覚に整合した行動の選択を実現することを目指しています。

関連論文：

  • 柳田 栞吾, 青木 達哉, 谷口 忠大, 堀井 隆斗. 「Mask-guided VLA: 注意誘導マスク画像を用いた視覚言語指示の導入」. 人工知能学会全国大会, 2026.6.
  • 柳田 栞吾, 青木 達哉, 谷口 忠大, 堀井 隆斗. 「Alphaチャネルによる Attention 制御に着目した言語・視覚指示を理解するロボット基盤モデル」. 第43回日本ロボット学会学術講演会, 2025.9.
Motor-Skill-Learning
堀井隆斗
著者
堀井隆斗 (he/him)
准教授
大阪大学大学院基礎工学研究科 准教授。 認知発達・記号創発ロボティクス、感情発達の計算論的モデリング、 ロボット学習、ヒューマンロボットインタラクションを専門とする。