In the summer of 2024, the Matsuo-Iwasawa Laboratory (Matsuo lab) began hosting research interns. Over the summer, interns worked on a variety of research themes under the mentorship of leading experts in their fields. A total of 15 participants, including several international members, have participated in 2024.
In this article series, interns from abroad will share their experiences as research interns at the Matsuo lab, as well as memories from Japan. Each article is presented in both English and the intern’s native language. The first article features Mr. Álvaro Belmonte-Baeza from Spain.
Please also read articles featuring Mr Simon from Sweden (coming soon)!
Q1: Please share your research theme and mentor’s name.
(In English)
My research theme is “Motion Planning and Modeling Environments using Fast, Differentiable Simulators and Renderers.” I explored the combination of model-based task and motion planning (TAMP) with model-free reinforcement learning (RL) for robotics, specifically locomanipulation. Locomanipulation refers to the combined task of moving through an environment using robotic legs while simultaneously performing a manipulation task, which is of major interest in the robotics field since it is the key to allowing robots to be helpful in tasks from our real life.
To achieve this, I explored the intersection between classic techniques, like model-based motion planning, with recent AI-based trends, such as RL-based motion control. Motion planning algorithms have the advantage of leveraging information already known from the environment and the task at hand and using physical models to determine the desired movement of each robot part across time. However, these approaches depend on accurate system and operating environment models, which is usually not the case since we will always have modeling mismatches due to assumptions made at the modeling stage. On the other hand, RL-based control doesn’t use any predefined model: It learns it through a “trial and error” process in simulation, learning from its experience across time. This allows the resulting controller to be more robust to different situations since it has faced and adapted to many different scenarios during the training process in simulation. However, these approaches require a lot of data and computing resources since they don’t leverage previous knowledge. Therefore, my goal for the internship was to get the best of both worlds and apply it to a locomanipulation scenario with a robotic arm mounted on a quadrupedal robot to see how these improve upon previous approaches.
I am lucky to have Mr. Tatsuya Matsushima as my supervisor to help me with this topic. He leads the robotics unit at Matsuo Lab. He has done amazing research regarding RL for robotics and the use of LLMs for robotic decision-making, which is currently one of the biggest trends in robotics research. I was surprised that he seemed to know every paper, and his expertise was quite broad in the different subtopics related to robotics.
(In Spanish)
Mi tema de investigación está relacionado con explorar la combinación de la planificación de tareas y movimientos basada en modelos (TAMP) con el aprendizaje por refuerzo (RL) sin modelos en el campo de la robótica, más concretamente para tareas de locomanipulación. La locomanipulación se refiere a la tarea combinada de moverse por un entorno utilizando patas robóticas mientras se realiza simultáneamente una tarea de manipulación, lo cual es de gran interés en el campo de la robótica, ya que es una tarea base clave para permitir que los robots sean útiles en tareas de nuestra vida diaria.
Para conseguirlo, estamos explorando la intersección entre técnicas clásicas como la planificación de movimiento basada en modelos, con tendencias recientes basadas en IA como el control de movimiento basado en RL. Los algoritmos de planificación del movimiento basados en modelo tienen la ventaja de que aprovechan la información ya conocida del entorno y de la tarea en cuestión, y hacen uso de modelos físicos para determinar el movimiento deseado de cada una de las partes del robot a lo largo del tiempo. Sin embargo, estos enfoques dependen de que se disponga de modelos precisos del sistema y del entorno de trabajo, lo que no suele ser el caso, ya que siempre tendremos desajustes de modelado debido a las suposiciones realizadas en la fase de modelado. Por otro lado, el control basado en RL no utiliza ningún modelo predefinido: Lo aprende mediante un proceso de «prueba y error» en simulación, aprendiendo de su experiencia a lo largo del tiempo. Esto permite que el controlador resultante sea más robusto ante distintas situaciones, ya que se ha enfrentado y adaptado a una gran variedad de escenarios diferentes durante el proceso de entrenamiento en simulación. Sin embargo, estos enfoques requieren muchos datos y recursos de cómputo, ya que no aprovechan el conocimiento previo del sistema o el entorno. Nuestro objetivo para las investigación es obtener lo mejor de ambos mundos y aplicarlo a un escenario de locomanipulación con un brazo robótico montado en un robot cuadrúpedo, y estudiar cómo estos mejoran los enfoques anteriores.
Tengo la suerte de contar con el Dr. Tatsuya Matsushima como supervisor para que me ayude con este tema. Es el líder de la unidad de robótica del laboratorio Matsuo, y ha realizado una investigación asombrosa sobre RL para robótica y el uso de LLM para la toma de decisiones en tareas robóticas, que es actualmente una de las mayores tendencias en el campo. Me ha sorprendido que parezca conocer todos los artículos que existen sobre robótica, y su experiencia es increíblemente amplia en los diferentes subtemas relacionados con la robótica, así que espero poder aprender mucho de él y hacer un gran trabajo juntos.
The picture with Mr. Matsushima, Mr. Alvaro’s mentor/La foto con el Sr. Matsushima, el mentor del Sr. Álvaro.
Q2: What was the reason for applying for the Matsuo Lab research internship? How did you find the Matsuo Lab’s research internship?
(In English)
I am a Ph.D student from the University of Alicante in Spain, and my research topic is about learning-based robotic control in extreme environments such as space robotics. As part of my Ph.D program, I was required to do a research visit to a foreign university and conduct collaborative research. Since I always wanted to visit Japan, I started looking for research labs in robotics and AI, and Matsuo Lab was the best option by far due to its record of research success. Furthermore, TRAIL at Matsuo Lab especially caught my interest since their work also focuses on learning-based robotic control and decision-making, which is my main research in PhD program.
Thus, I contacted a Spanish member of the team, Mr. Alfredo Solano, and asked him if it would be possible for me to do my research stay at TRAIL. He referred me to Mr. Matsushima. We soon realized that our research interests clearly aligned and that a collaboration could be great for both of us, so we agreed to do my research under his supervision. A couple of months later, when looking at LinkedIn, I saw the announcement for the research internship program. I found one of the topics was very related to what Mr. Matsushima and I had discussed, so I asked him if I could also apply for the internship in addition to my research stay. He warned me that the application process would be very competitive but told me he thought I was a very good candidate and encouraged me to apply, so I didn’t hesitate.
And here we are! I was finally selected as one of the interns, and I’ve been able to collaborate even more tightly with the lab than I could imagine. In the end, I was lucky to meet Mr. Solano and Mr. Matsushima because our early discussions and aligned interests eventually led me to apply for the internship and get the position.
(In Spanish)
Soy estudiante de doctorado en la Universidad de Alicante (España) y mi tema de investigación es el control basado en IA de robots en entornos extremos, como por ejemplo la robótica espacial. Como parte de mi programa de doctorado, tenía que hacer una estancia de investigación en una universidad extranjera y colaborar con un laboratorio de investigación internacional, y como siempre había querido visitar Japón, empecé a buscar laboratorios de investigación que trabajasen en robótica e IA, y el laboratorio Matsuo era la mejor opción con diferencia debido a su historial de éxitos en investigación. Además, la unidad TRAIL de Matsuo Lab me interesó especialmente porque su trabajo también se centra en el control y toma de decisiones en robótica basado en el aprendizaje, que es mi principal interés investigador.
Así pues, me puse en contacto con un miembro español del equipo, el Dr. Alfredo Solano, y le pregunté si sería posible que realizara mi estancia de investigación en TRAIL. Él me remitió al Dr. Matsushima, y pronto nos dimos cuenta de que nuestros intereses de investigación coincidían claramente y de que una colaboración podría ser estupenda para ambos, así que acordamos hacer mi estancia de investigación bajo su supervisión. Fue un par de meses después cuando, mirando en LinkedIn, vi el anuncio de la oferta de research internships, y vi que uno de los temas estaba muy relacionado con lo que habíamos hablado el Dr. Matsushima y yo, así que le pregunté si yo también podía presentarme a las prácticas además de realizar mi estancia. Me advirtió de que el proceso de solicitud sería muy competitivo, pero me dijo que pensaba que yo era un muy buen candidato y me animó a presentarme, así que no lo dudé.
Y aquí estamos! Finalmente me seleccionaron como uno de los interns, y he podido colaborar aún más estrechamente con el laboratorio de lo que podía imaginar. Al final, tuve la suerte de conocer al Dr. Solano y al Dr. Matsushima, porque fueron nuestras primeras conversaciones y nuestros intereses afines los que finalmente me llevaron a solicitar las prácticas y a conseguir el puesto.
Q3: What is the daily schedule during the research internship?
My schedule changes depending on the day, and the type of task I need to do, but a good general overview would be like the picture below:
Q4: Please share some of your fun memories during your stay in Japan.
Early morning visit to Senso-Ji shrine / Visita temprana al templo Senso-Ji
Went to a baseball game with the Yomiuri Giants! / Ir a un partido de baseball de los Yomiuri Giants!
Sunset at Odaiba Beach / Atardecer en la playa de Odaiba
Thank you, Mr Álvaro, for sharing your time at Matsuo Lab!
Please also read articles featuring Mr Simon from Sweden (coming soon)!
Matsuo Lab promotes fundamental research in an international environment to realize our vision of “Creating Intelligence.” We look forward to welcoming you all to next year’s summer internship (information will be available around late April to May).
