シミュレーターを用いたパルクール学習（2024）

デモ開発者 和田輝, 塙桃, 福田光輝, 野海芳博

高性能なシミュレーション環境「Isaac Gym」において四脚ロボットに強化学習を行うことで、パルクールという複雑な動作の獲得を行った。シミュレーターの発展によって、 複雑な動作を短時間で学ぶことが可能になり、現実環境においても適応するモデルを獲得することができるようになった。 学習データを短時間で大量に集めることが可能になり、現実環境においても適応しうるモデルを獲得することができるようになった。

参考

Cheng, Xuxin, et al. “Extreme parkour with legged robots.” 2024 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2024.

ロボット基盤モデルデモ（2024）

デモ開発者 池田悠也, 保呂蒼威, 石井浩樹, 野海芳博

ロボット基盤モデルの「Octo」を用いて、単一モデルにより複数のロボットが多様なタスクを行う様子を実演した。 カメラ画像や関節角度、指示文などを組み合わせたデータを収集し、Octoに追加学習を行い、xArmとSawyerで複数のタスクを汎化して実行できることが確認できた。

参考

Octo Model Team, Ghosh, D., et al. “Octo: An open-source generalist robot policy.” Proceedings of Robotics: Science and Systems, 2024.

GPSRタスクへの取り組みとその解決策（2024）

デモ開発者 保呂蒼威, 和田輝, 福田光輝, 野海芳博

大規模言語モデル(GPT-4)、音声認識モデル(Whisper)、物体検出モデル(Detic)、マルチモーダル基盤モデル(CLIP)といった複数の基盤モデル技術を使用した。様々な基盤モデルを統合しロボットに搭載することによって、包括的に実世界を認識し、自身の能力を元に、命令に応じた適切な行動が生成できる

参考

基盤モデルを活用した自然言語による多様なタスク実現に向けたロボットシステムの統合

Self-Recovery Prompting: Promptable General Purpose Service Robot System with Foundation Models and Self-Recovery

世界モデルを用いた柔軟物操作デモ（2022）

デモ開発者 池田悠也, 大久保拓哉, 福田光輝, 野海芳博

観測データに基づき、外界の構造を獲得する「世界モデル」の持つ状態推定や予測能力は、ロボティクスへの応用が期待されている。世界モデルに関連する2本の論文の再現実装を行い、ロボットアーム実機で布を広げるタスクを通じて、世界モデルのロボット応用の可能性を検証した。

参考

Lin, Xingyu, Yufei Wang, Zixuan Huang, and David Held. “Learning Visible Connectivity Dynamics for Cloth Smoothing.” Conference on Robot Learning (CoRL), 2021.

Yan, Wilson, Ashwin Vangipuram, Pieter Abbeel, and Lerrel Pinto. “Learning Predictive Representations for Deformable Objects Using Contrastive Estimation.” Proceedings of Machine Learning Research (PMLR), 2021.