松尾研LLM開発プロジェクトのキックオフを開催しました。

2024年3月2日(土)に、松尾研LLM開発プロジェクトのキックオフを実施しましたのでご報告いたします。

本プロジェクトは、当研究室が提供する講座の修了生および一般公募によって集まった有志の開発者のメンバーが500億パラメータサイズの大規模言語モデル開発を進めるものです。

また、開発された大規模言語モデル(LLM)の公開のみならず、開発過程の公開、そしてこれらの成果を社会全体で共有することを通じ、日本全体のLLM開発の技術レベル向上と社会実装の加速を目指します。

なお、本プロジェクトは国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)による、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC(Generative AI Accelerator Challenge)」において、基盤モデル開発に必要な計算資源の提供支援を受けています。

 

▼参考:NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します。

https://weblab.t.u-tokyo.ac.jp/2024-02-02/

▼参考:「GENIAC」プロジェクトの詳細はこちら

https://www.meti.go.jp/policy/mono_info_service/geniac/index.html

 

今回のキックオフイベントでは、総勢100名弱のメンバーがオフラインで参加。
松尾教授による本プロジェクトの紹介や、研究開発支援グループのリーダー小島武による技術支援やweblab10B開発秘話の紹介に始まり、全7チームのリーダーに開発方針やチーム体制などについて発表していただきました。

 

松尾教授からは「このプロジェクトの中で、試行錯誤しながら重要であるノウハウを共有することで良いモデルを作り、開発経験を積んでもらいたい。また、このプロジェクトを通して、より多くのLLM開発者を生み出し、参加者の皆さんが様々なところで活躍してもらうのが望みだ」とのコメントがありました。

当日の様子は下記リンクよりご覧いただけますので、ご興味がありましたらご覧ください。

https://youtu.be/Tbn8IoqHENs?si=ccsYbdqbt3qxmOBZ

 

また、本プロジェクトの開発進捗はコミュニティメンバーとしてどなたでも自由に閲覧可能です。下記ページにアクセスの上Slackにご参加ください。

▼松尾研LLM開発プロジェクト特設ページ

https://weblab.t.u-tokyo.ac.jp/geniac_llm

NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します。

東京大学松尾・岩澤研究室

日本全体の開発レベル向上を志し、

公開型での500億パラメータサイズの大規模言語モデル開発を開始

―NEDO「ポスト5G情報通信システム基盤強化研究開発事業」事業(注1)採択事業者に決定

 

 

東京大学大学院工学系研究科技術経営戦略学専攻 松尾・岩澤研究室(以下「松尾研」)は、この度経済産業省及び国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)が開始する、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC(Generative AI Accelerator Challenge)」において、基盤モデル開発に必要な計算資源の提供支援を受け、500億パラメータサイズの公開型基盤モデル開発に取り組むことをお知らせします。

本取り組みにあたっては、開発された大規模言語モデル(以下「LLM」)の公開のみならず、開発過程の公開、そしてこれらの成果を社会全体で共有することを通じ、日本全体のLLM開発の技術レベル向上と社会実装の加速を目指します。

 

発表の詳細

 本活動では、2023年8月に公開した100億パラメータサイズのLLM「Weblab-10B」の開発経験をベースに、東京大学松尾研究室が提供する大規模言語モデル講座(2023年8月開催、2000名以上が受講)の修了生及び一般公募によって集まった有志の開発者(⺠間企業・研究者・学⽣で構成)が、最新の研究成果や技術的な知見を取り入れ、開発を進めます。

 一般的にLLMの最適なモデル構造やハイパーパラメータは十分に分かっていないため、第1フェーズにおいては8チームに分かれて複数の研究テーマを設定し探索を行い、知見を共有しながら試行錯誤することで、実用的かつ効率的な手法を採用します。その後第2フェーズでは、最優秀に選ばれた1チームが500億パラメータサイズのLLM開発に取り組むことを予定しています。なお、本活動は、基盤モデルの開発評価の過程でWeights & Biases社のプラットフォームを活用した開発を進めていきます。

 松尾研では本活動に参加を希望される有志の開発者を募集しております。募集要項は下記ページをご確認ください。

 https://weblab.t.u-tokyo.ac.jp/geniac_llm

 

 本活動を通じて開発されたモデル・ソースコード・開発過程・ノウハウは、2024年4月以降、松尾研のホームページ等を通じ広く公開してまいります。これらの透明性の高いアプローチを通じ、社会全体の技術リテラシーの向上と産業界やアカデミアにおける応用を促進して参ります。

 

注釈

(注1)国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)「ポスト5G情報通信システム基盤強化研究開発事業/ポスト5G情報通信システムの開発」事業。経済産業省が主導する基盤モデルの開発に必要な計算資源に関する支援や関係者間の連携を促す「GENIAC」プロジェクトの一環として採択事業者に一定の計算資源に関わる助成を行うもの。

GENIACの詳細はこちら:
https://www.meti.go.jp/press/2023/02/20240202003/20240202003.html
https://www.meti.go.jp/policy/mono_info_service/geniac/index.html

 

本件に関する問合せ先

東京大学 大学院工学系研究科 松尾・岩澤研究室
E-mail:pr@weblab.t.u-tokyo.ac.jp

岩澤有祐講師が准教授に就任しました。

謹んで初春のお慶びを申し上げます。
旧年中はひとかたならぬご厚情を賜り、誠にありがとうございました。
本年もどうぞよろしくお願いいたします。

2024年1月1日付で当研究室の岩澤有祐講師が准教授に就任しましたので、ご報告いたします。
松尾研究室は「松尾・岩澤研究室」として、今後も研究活動を加速させていきます。

 

 

引き続き松尾研は「知能を創る」ことを目標に掲げ、活動を進めて参ります。
どうぞよろしくお願いいたします。

▼岩澤インタビュー記事

「視野を広げ、長期的な研究に打ち込める。」常に変化を続ける、松尾研での9年間。

「視野を広げ、長期的な研究に打ち込める。」常に変化を続ける、松尾研での9年間。

 

当研究室所属の古田 拓毅さんが「FORBES JAPAN 30 UNDER 30 2023」に選出されました。

当研究室博士2年の古田 拓毅さんが「FORBES JAPAN 30 UNDER 30 2023」の
「SCIENCE & TECHNOLOGY & LOCAL部門」にて選出されました。
詳細は下記公式HPをご覧ください。

https://forbesjapan.com/feat/30under30/2023/honorees/?cat=stl

 

<古田さんより受賞コメント>


大変名誉ある賞を頂きまして、光栄に感じています。
松尾先生をはじめとする、研究室の皆様のご助力に心より感謝申し上げます。
今後も、よりインパクトの大きい研究成果を発表できるよう、努力していきたいと思います。

松尾研のロボットチームが世界大会で3位に入賞しました。

2023年7月4日から10日までフランス・ボルドーで開催された「ロボカップ@Home 2023」に、
松尾研究室のロボティクスサブグループ「TRAIL」が出場いたしました。
同チームは「Domestic Standard Platform League(DSPL)」に出場し、標準ロボットを用いた家庭内での生活支援タスクの性能と技術を競い、初出場ながら第3位に入賞しました。

私たちは、人とロボットが共存できる一般家庭用サービスロボットの実現を目指しています、
本大会では、家庭内で人間とロボットの自然なインタラクションからロボットが文脈を理解し、サポートを行うロボットシステムについて発表しました。

今回のコンペで得た経験や発見した課題をもとに、より良いロボットシステムの構築に取り組んでいきます。

 

Andrew Ng 先生が松尾研究室を訪問されました。

AI研究の世界的権威であるAndrew Ng先生が、先日松尾研究室を訪問されましたので、ご報告します。
Andrew先生はDeepLearning.AIや、Landing AIAI FundCourseraの立ち上げを行い、スタンフォード大学コンピューターサイエンス学部でも教鞭を取られています。

本訪問では松尾研の活動や学生の研究・インキュベーション活動についての紹介を行い、
相互にディスカッションを実施いたしました。

また、松尾研は今後DeepLearning.AIが講座提供を行う生成AIの短期コースの翻訳を担当させていただくこととなりました。
本講座はCourseraで公開予定ですが、詳細は追ってアナウンスさせていただきます。