Prof. Yoshua Bengio visited Matsuo Lab.

We would like to announce the recent visit of Prof. Yoshua Bengio to Matsuo Lab.   He is a professor in the Department of Computer Science and Operations Research at the University of Montreal. He has received numerous awards and accolades for his significant contributions to the field of computer science, including the prestigious Turing…

松尾研LLM開発プロジェクトのキックオフを開催しました。

2024年3月2日(土)に、松尾研LLM開発プロジェクトのキックオフを実施しましたのでご報告いたします。

本プロジェクトは、当研究室が提供する講座の修了生および一般公募によって集まった有志の開発者のメンバーが500億パラメータサイズの大規模言語モデル開発を進めるものです。

また、開発された大規模言語モデル(LLM)の公開のみならず、開発過程の公開、そしてこれらの成果を社会全体で共有することを通じ、日本全体のLLM開発の技術レベル向上と社会実装の加速を目指します。

なお、本プロジェクトは国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)による、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC(Generative AI Accelerator Challenge)」において、基盤モデル開発に必要な計算資源の提供支援を受けています。

 

▼参考:NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します。

https://weblab.t.u-tokyo.ac.jp/2024-02-02/

▼参考:「GENIAC」プロジェクトの詳細はこちら

https://www.meti.go.jp/policy/mono_info_service/geniac/index.html

 

今回のキックオフイベントでは、総勢100名弱のメンバーがオフラインで参加。
松尾教授による本プロジェクトの紹介や、研究開発支援グループのリーダー小島武による技術支援やweblab10B開発秘話の紹介に始まり、
全7チームのリーダーに開発方針やチーム体制などについて発表していただきました。

 

松尾教授からは「このプロジェクトの中で、試行錯誤しながら重要であるノウハウを共有することで良いモデルを作り、開発経験を積んでもらいたい。また、このプロジェクトを通して、より多くのLLM開発者を生み出し、参加者の皆さんが様々なところで活躍してもらうのが望みだ」とのコメントがありました。

当日の様子は下記リンクよりご覧いただけますので、ご興味がありましたらご覧ください。
https://drive.google.com/file/d/11oOcj7qN5jQuNXU856acfqRpbeGPs7_2/view

 

また、本プロジェクトの開発進捗はコミュニティメンバーとしてどなたでも自由に閲覧可能です。下記ページにアクセスの上Slackにご参加ください。

▼松尾研LLM開発プロジェクト特設ページ

https://weblab.t.u-tokyo.ac.jp/geniac_llm

岩澤有祐講師が准教授に就任しました。

謹んで初春のお慶びを申し上げます。
旧年中はひとかたならぬご厚情を賜り、誠にありがとうございました。
本年もどうぞよろしくお願いいたします。

2024年1月1日付で当研究室の岩澤有祐講師が准教授に就任しましたので、ご報告いたします。
松尾研究室は「松尾・岩澤研究室」として、今後も研究活動を加速させていきます。

 

 

引き続き松尾研は「知能を創る」ことを目標に掲げ、活動を進めて参ります。
どうぞよろしくお願いいたします。

▼岩澤インタビュー記事

「視野を広げ、長期的な研究に打ち込める。」常に変化を続ける、松尾研での9年間。

「視野を広げ、長期的な研究に打ち込める。」常に変化を続ける、松尾研での9年間。

 

【東大松尾研】2023年の活動報告

こんにちは、松尾研 広報チームです。 本郷キャンパスの銀杏並木も葉を落とし、すっかり冬景色に変わりました。 2023年も残すところ僅かということで、今年の松尾研の活動をまとめて振り返ります。   1.論文・活動実績 今年はICLR、ICMLを始めとする、下記の国際学会や論文誌などに採録されました。     ◆International Conference on Learning Representations (ICLR 2023) Interaction-Based Disentanglement of Entities for Object-Centric World Models 著者:​​​​​​​​​​​​Akihiro Nakano, Masahiro Suzuki, Yutaka Matsuo A System for Morphology-Task Generalization via Unified Representation and Behavior Distillation 著者:Hiroki Furuta, Yusuke Iwasawa, Yutaka Matsuo, Shixiang Shane Gu DiffusER: Diffusion via Edit-based Reconstruction…

Mr. Hiroki Furuta has been selected for “FORBES JAPAN 30 UNDER 30 2023”.

Mr. Hiroki Furuta, a second-year doctoral student in our laboratory, has been selected in the “SCIENCE & TECHNOLOGY & LOCAL” category of “FORBES JAPAN 30 UNDER 30 2023”. For details, please see the official website below. https://forbesjapan.com/feat/30under30/2023/honorees/?cat=stl <Award comment> This is a very prestigious award and I feel honored to receive it. My sincere appreciation…

Matsuo Lab held the LLM Special Boot Camp.

Matsuo-lab organized and conducted a program called “LLM Special Boot Camp,” where participants could learn about deep learning and generative AI through lectures and hands-on exercises. Among the attendees were Prime Minister Kishida and Assistant Prime Minister Murai. (August 14, 2023) For more details, please refer to the following news articles:   ▼Asahi https://www.asahi.com/articles/ASR8G6X84R8GUTFK002.html?iref=pc_photo_gallery_breadcrumb ▼Sankei…

Prof. Andrew Ng visited Matsuo Lab.

Prof. Andrew Ng, who is a globally recognized leader in AI (Artificial Intelligence) recently visited Matsuo Lab. He is Founder of DeepLearning.AI, Founder & CEO of Landing AI, General Partner at AI Fund, Chairman and Co-Founder of Coursera and an Adjunct Professor at Stanford University’s Computer Science Department. During this visit, we introduced Matsuo Lab’s activities, student research and incubation…