【松尾・岩澤研究室】第1期リサーチインターンシップ募集(応募締切:2024年5月31日(金))

■ 松尾・岩澤研究室について 松尾・岩澤研究室では,「知能を創る」というミッションのもと,世界モデルをはじめとした深層学習やそれを超える基礎技術の開発,ロボティクスや大規模言語モデル,アルゴリズムの社会実証といった幅広い研究領域で活動しています.フルタイムの研究員の数も10名を超え(今後も継続的に増やす予定です),2023年度にはICML,ICLR,NAACL,ICRAなどのトップ会議に14本の論文が採択されています(最近の採択論文一覧はこちら). こうした活動を更に拡大するため,新たな試みとして第1期のリサーチインターンシップの募集を行います.各領域の第一線で活躍する研究者のメンタリングのもと,普段は外部からは見えにくい,研究室の中の研究活動の現場を体験することができます.         ■ リサーチインターンシップ概要 本研究室の研究員と共に,様々な研究テーマに取り組んでいただきます.研究成果は,各学術分野のトップ会議や論文誌への投稿および採択を目指すことも可能であり,採択の際の会議参加費や移動に関する費用は当研究室が全額負担いたします.なお,インターン実施時期および業務時間や形式は,各テーマ個別に相談を受けています. インターン実施中の成果は機密や権利上の問題が無い範囲で OSS や論文,松尾研HP内記事として公開することを奨励しています. 応募フォーム(締切: 2024年5月31日(金)):https://forms.gle/trSmpMKwgDyBnmnEA   【募集概要】 職種 / 募集ポジション:リサーチインターン 形態:業務委託 期間: 2024年7月1日(月)~10月31日(木)までの間で7週間 報酬:月50万円(12.5万円/週) 活動時間のめやす:週40時間(土日祝日を除く)相当を要する見込み  ※開始・終了時期など個別相談可能 応募資格: 大学院修士課程・博士課程在籍中の方(学部生も応相談) 関連分野での研究経験または強い関心を持つ 研究領域/テーマ:  インターンの研究テーマ一覧は,こちら テーマは応募の際に選択いただき,選考の中で幣研究室メンバーと相談の上最終決定いたします. テーマ選択にあたっては,ご自身の所属機関における研究テーマ等を持ち込まないようにご留意ください. 募集人数:テーマごとに若干名 活動形式:登校形式・オンライン形式どちらも可能 ※海外や遠方の方も柔軟な参加方法を検討しますのでご相談ください ※テーマによっては,登校をお願いする場合があります. ※登校形式を希望された遠方にお住まいの方(めやす:200km圏外)には宿泊補助(通信費含む)をご提供いたします (登校形式の場合)実施場所: 東京大学本郷キャンパス工学部2号館 9F 松尾・岩澤研究室 〒113-8656 東京大学本郷キャンパス工学部2号館 9F 93C1  ナガセ本郷ビル 〒113-0033 東京都文京区本郷5-24-5 ナガセ本郷ビル  その他: 交通費全額支給,業務用PC貸与 論文採択時の国際カンファレンス参加費用(論文投稿料を含む) 研究室内イベント等への参加含む,研究室内福利厚生制度が一部利用可能 インターン活動により生じた知的財産は東京大学に帰属 ※全て当研究室規定による…

神戸市と連携し「GCI 2024 Summer」パブリックビューイングを開催します。

この度松尾・岩澤研究室は神戸市と連携し、AI・データサイエンスのスキル習得を目指す学生に向け「GCI 2024 Summer」のパブリックビューイングを実施することをお知らせします。

東京大学グローバル消費インテリジェンス寄付講座(以下、「GCI」)は、データサイエンスを通じてAIの基礎となる考え方を学び、マーケティングを中心としたビジネス課題解決の力を身につける、AI入門講座です。 2014年より開催し、これまで12,500名以上ににデータサイエンスの基礎〜機械学習スキル習得の機会を提供してまいりました。

神戸市では、スタートアップ支援の一環として、2021年からエンジニア創出支援事業である「Kobe Enginieer’s Lab」を推進しているほか、2023年には世界で6拠点目となるMicrosoft AI Co-Innovation Labの誘致を果たすなど、エンジニア、AI・データサイエンティストが生まれやすい街を目指した取り組みを進めています。

詳細は下記をご覧ください。
https://www.city.kobe.lg.jp/a14333/021918496948.html

 

▼東京大学グローバル消費インテリジェンス寄付講座(GCI)

本講座はデータサイエンスを通じてAIの基礎となる考え方を学び、マーケティングを中心としたビジネス課題解決の力を身につける、AI入門講座です。
通算20期目の開催となります。これまで12,500名以上にデータサイエンスの基礎〜機械学習スキル習得の機会を提供してきました。
東大生はもとより、全国の学生(大学院生、大学生、短大生、専門学校生、高専生、高校生、中学生)が受講可能です。また、社会人についても、メタバース工学部の法人会員の社員受講者や、ライフイベント(介護・育児等)による休職者の方も一部受け付けております。

<公式サイト>https://gci2.t.u-tokyo.ac.jp/

Prof. Yoshua Bengio visited Matsuo Lab.

We would like to announce the recent visit of Prof. Yoshua Bengio to Matsuo Lab.   He is a professor in the Department of Computer Science and Operations Research at the University of Montreal. He has received numerous awards and accolades for his significant contributions to the field of computer science, including the prestigious Turing…

松尾研LLM開発プロジェクトのキックオフを開催しました。

2024年3月2日(土)に、松尾研LLM開発プロジェクトのキックオフを実施しましたのでご報告いたします。

本プロジェクトは、当研究室が提供する講座の修了生および一般公募によって集まった有志の開発者のメンバーが500億パラメータサイズの大規模言語モデル開発を進めるものです。

また、開発された大規模言語モデル(LLM)の公開のみならず、開発過程の公開、そしてこれらの成果を社会全体で共有することを通じ、日本全体のLLM開発の技術レベル向上と社会実装の加速を目指します。

なお、本プロジェクトは国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)による、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC(Generative AI Accelerator Challenge)」において、基盤モデル開発に必要な計算資源の提供支援を受けています。

 

▼参考:NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します。

https://weblab.t.u-tokyo.ac.jp/2024-02-02/

▼参考:「GENIAC」プロジェクトの詳細はこちら

https://www.meti.go.jp/policy/mono_info_service/geniac/index.html

 

今回のキックオフイベントでは、総勢100名弱のメンバーがオフラインで参加。
松尾教授による本プロジェクトの紹介や、研究開発支援グループのリーダー小島武による技術支援やweblab10B開発秘話の紹介に始まり、
全7チームのリーダーに開発方針やチーム体制などについて発表していただきました。

 

松尾教授からは「このプロジェクトの中で、試行錯誤しながら重要であるノウハウを共有することで良いモデルを作り、開発経験を積んでもらいたい。また、このプロジェクトを通して、より多くのLLM開発者を生み出し、参加者の皆さんが様々なところで活躍してもらうのが望みだ」とのコメントがありました。

当日の様子は下記リンクよりご覧いただけますので、ご興味がありましたらご覧ください。
https://drive.google.com/file/d/11oOcj7qN5jQuNXU856acfqRpbeGPs7_2/view

 

また、本プロジェクトの開発進捗はコミュニティメンバーとしてどなたでも自由に閲覧可能です。下記ページにアクセスの上Slackにご参加ください。

▼松尾研LLM開発プロジェクト特設ページ

https://weblab.t.u-tokyo.ac.jp/geniac_llm

NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します。

東京大学松尾・岩澤研究室

日本全体の開発レベル向上を志し、

公開型での500億パラメータサイズの大規模言語モデル開発を開始

―NEDO「ポスト5G情報通信システム基盤強化研究開発事業」事業(注1)採択事業者に決定

 

 

東京大学大学院工学系研究科技術経営戦略学専攻 松尾・岩澤研究室(以下「松尾研」)は、この度経済産業省及び国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)が開始する、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC(Generative AI Accelerator Challenge)」において、基盤モデル開発に必要な計算資源の提供支援を受け、500億パラメータサイズの公開型基盤モデル開発に取り組むことをお知らせします。

本取り組みにあたっては、開発された大規模言語モデル(以下「LLM」)の公開のみならず、開発過程の公開、そしてこれらの成果を社会全体で共有することを通じ、日本全体のLLM開発の技術レベル向上と社会実装の加速を目指します。

 

発表の詳細

 本活動では、2023年8月に公開した100億パラメータサイズのLLM「Weblab-10B」の開発経験をベースに、東京大学松尾研究室が提供する大規模言語モデル講座(2023年8月開催、2000名以上が受講)の修了生及び一般公募によって集まった有志の開発者(⺠間企業・研究者・学⽣で構成)が、最新の研究成果や技術的な知見を取り入れ、開発を進めます。

 一般的にLLMの最適なモデル構造やハイパーパラメータは十分に分かっていないため、第1フェーズにおいては8チームに分かれて複数の研究テーマを設定し探索を行い、知見を共有しながら試行錯誤することで、実用的かつ効率的な手法を採用します。その後第2フェーズでは、最優秀に選ばれた1チームが500億パラメータサイズのLLM開発に取り組むことを予定しています。なお、本活動は、基盤モデルの開発評価の過程でWeights & Biases社のプラットフォームを活用した開発を進めていきます。

 松尾研では本活動に参加を希望される有志の開発者を募集しております。募集要項は下記ページをご確認ください。

 https://weblab.t.u-tokyo.ac.jp/geniac_llm

 

 本活動を通じて開発されたモデル・ソースコード・開発過程・ノウハウは、2024年4月以降、松尾研のホームページ等を通じ広く公開してまいります。これらの透明性の高いアプローチを通じ、社会全体の技術リテラシーの向上と産業界やアカデミアにおける応用を促進して参ります。

 

注釈

(注1)国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)「ポスト5G情報通信システム基盤強化研究開発事業/ポスト5G情報通信システムの開発」事業。経済産業省が主導する基盤モデルの開発に必要な計算資源に関する支援や関係者間の連携を促す「GENIAC」プロジェクトの一環として採択事業者に一定の計算資源に関わる助成を行うもの。

GENIACの詳細はこちら:
https://www.meti.go.jp/press/2023/02/20240202003/20240202003.html
https://weblab.t.u-tokyo.ac.jp/geniac_llm

 

本件に関する問合せ先

東京大学 大学院工学系研究科 松尾・岩澤研究室
E-mail:pr@weblab.t.u-tokyo.ac.jp

岩澤有祐講師が准教授に就任しました。

謹んで初春のお慶びを申し上げます。
旧年中はひとかたならぬご厚情を賜り、誠にありがとうございました。
本年もどうぞよろしくお願いいたします。

2024年1月1日付で当研究室の岩澤有祐講師が准教授に就任しましたので、ご報告いたします。
松尾研究室は「松尾・岩澤研究室」として、今後も研究活動を加速させていきます。

 

 

引き続き松尾研は「知能を創る」ことを目標に掲げ、活動を進めて参ります。
どうぞよろしくお願いいたします。

▼岩澤インタビュー記事

「視野を広げ、長期的な研究に打ち込める。」常に変化を続ける、松尾研での9年間。

「視野を広げ、長期的な研究に打ち込める。」常に変化を続ける、松尾研での9年間。

 

【東大松尾研】2023年の活動報告

こんにちは、松尾研 広報チームです。 本郷キャンパスの銀杏並木も葉を落とし、すっかり冬景色に変わりました。 2023年も残すところ僅かということで、今年の松尾研の活動をまとめて振り返ります。   1.論文・活動実績 今年はICLR、ICMLを始めとする、下記の国際学会や論文誌などに採録されました。     ◆International Conference on Learning Representations (ICLR 2023) Interaction-Based Disentanglement of Entities for Object-Centric World Models 著者:​​​​​​​​​​​​Akihiro Nakano, Masahiro Suzuki, Yutaka Matsuo A System for Morphology-Task Generalization via Unified Representation and Behavior Distillation 著者:Hiroki Furuta, Yusuke Iwasawa, Yutaka Matsuo, Shixiang Shane Gu DiffusER: Diffusion via Edit-based Reconstruction…

Mr. Hiroki Furuta has been selected for “FORBES JAPAN 30 UNDER 30 2023”.

Mr. Hiroki Furuta, a second-year doctoral student in our laboratory, has been selected in the “SCIENCE & TECHNOLOGY & LOCAL” category of “FORBES JAPAN 30 UNDER 30 2023”. For details, please see the official website below. https://forbesjapan.com/feat/30under30/2023/honorees/?cat=stl <Award comment> This is a very prestigious award and I feel honored to receive it. My sincere appreciation…

Matsuo Lab held the LLM Special Boot Camp.

Matsuo-lab organized and conducted a program called “LLM Special Boot Camp,” where participants could learn about deep learning and generative AI through lectures and hands-on exercises. Among the attendees were Prime Minister Kishida and Assistant Prime Minister Murai. (August 14, 2023) For more details, please refer to the following news articles:   ▼Asahi https://www.asahi.com/articles/ASR8G6X84R8GUTFK002.html?iref=pc_photo_gallery_breadcrumb ▼Sankei…