Deep Learning基礎講座 2024 の募集開始
松尾・岩澤研究室主催の公開講座「Deep Learning基礎講座 2024」の受講生を募集します。
受講を希望される方は下記ページを参考にしてください.
- Deep Learning基礎講座
(申込締切:2024/4/5(金)13:00)
松尾・岩澤研究室主催の公開講座「Deep Learning基礎講座 2024」の受講生を募集します。
受講を希望される方は下記ページを参考にしてください.
■書誌情報 Takeshi Kojima, Itsuki Okimura, Yusuke Iwasawa, H…
Yoshua Bengio先生が、先日松尾研究室を訪問されましたので、ご報告します。 Bengio先生はモント…
2024年3月2日(土)に、松尾研LLM開発プロジェクトのキックオフを実施しましたのでご報告いたします。
本プロジェクトは、当研究室が提供する講座の修了生および一般公募によって集まった有志の開発者のメンバーが500億パラメータサイズの大規模言語モデル開発を進めるものです。
また、開発された大規模言語モデル(LLM)の公開のみならず、開発過程の公開、そしてこれらの成果を社会全体で共有することを通じ、日本全体のLLM開発の技術レベル向上と社会実装の加速を目指します。
なお、本プロジェクトは国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)による、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC(Generative AI Accelerator Challenge)」において、基盤モデル開発に必要な計算資源の提供支援を受けています。
▼参考:NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します。
https://weblab.t.u-tokyo.ac.jp/2024-02-02/
▼参考:「GENIAC」プロジェクトの詳細はこちら
https://www.meti.go.jp/policy/mono_info_service/geniac/index.html
今回のキックオフイベントでは、総勢100名弱のメンバーがオフラインで参加。
松尾教授による本プロジェクトの紹介や、研究開発支援グループのリーダー小島武による技術支援やweblab10B開発秘話の紹介に始まり、全7チームのリーダーに開発方針やチーム体制などについて発表していただきました。
松尾教授からは「このプロジェクトの中で、試行錯誤しながら重要であるノウハウを共有することで良いモデルを作り、開発経験を積んでもらいたい。また、このプロジェクトを通して、より多くのLLM開発者を生み出し、参加者の皆さんが様々なところで活躍してもらうのが望みだ」とのコメントがありました。
当日の様子は下記リンクよりご覧いただけますので、ご興味がありましたらご覧ください。
https://youtu.be/Tbn8IoqHENs?si=ccsYbdqbt3qxmOBZ
また、本プロジェクトの開発進捗はコミュニティメンバーとしてどなたでも自由に閲覧可能です。下記ページにアクセスの上Slackにご参加ください。
▼松尾研LLM開発プロジェクト特設ページ
東京大学大学院工学系研究科技術経営戦略学専攻 松尾・岩澤研究室(以下「松尾研」)は、この度経済産業省及び国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)が開始する、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC(Generative AI Accelerator Challenge)」において、基盤モデル開発に必要な計算資源の提供支援を受け、500億パラメータサイズの公開型基盤モデル開発に取り組むことをお知らせします。
本取り組みにあたっては、開発された大規模言語モデル(以下「LLM」)の公開のみならず、開発過程の公開、そしてこれらの成果を社会全体で共有することを通じ、日本全体のLLM開発の技術レベル向上と社会実装の加速を目指します。
本活動では、2023年8月に公開した100億パラメータサイズのLLM「Weblab-10B」の開発経験をベースに、東京大学松尾研究室が提供する大規模言語モデル講座(2023年8月開催、2000名以上が受講)の修了生及び一般公募によって集まった有志の開発者(⺠間企業・研究者・学⽣で構成)が、最新の研究成果や技術的な知見を取り入れ、開発を進めます。
一般的にLLMの最適なモデル構造やハイパーパラメータは十分に分かっていないため、第1フェーズにおいては8チームに分かれて複数の研究テーマを設定し探索を行い、知見を共有しながら試行錯誤することで、実用的かつ効率的な手法を採用します。その後第2フェーズでは、最優秀に選ばれた1チームが500億パラメータサイズのLLM開発に取り組むことを予定しています。なお、本活動は、基盤モデルの開発評価の過程でWeights & Biases社のプラットフォームを活用した開発を進めていきます。
松尾研では本活動に参加を希望される有志の開発者を募集しております。募集要項は下記ページをご確認ください。
https://weblab.t.u-tokyo.ac.jp/geniac_llm
本活動を通じて開発されたモデル・ソースコード・開発過程・ノウハウは、2024年4月以降、松尾研のホームページ等を通じ広く公開してまいります。これらの透明性の高いアプローチを通じ、社会全体の技術リテラシーの向上と産業界やアカデミアにおける応用を促進して参ります。
注釈
(注1)国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)「ポスト5G情報通信システム基盤強化研究開発事業/ポスト5G情報通信システムの開発」事業。経済産業省が主導する基盤モデルの開発に必要な計算資源に関する支援や関係者間の連携を促す「GENIAC」プロジェクトの一環として採択事業者に一定の計算資源に関わる助成を行うもの。
GENIACの詳細はこちら:
https://www.meti.go.jp/press/2023/02/20240202003/20240202003.html
https://www.meti.go.jp/policy/mono_info_service/geniac/index.html
東京大学 大学院工学系研究科 松尾・岩澤研究室
E-mail:pr@weblab.t.u-tokyo.ac.jp
■書籍情報 Mimo Shirasaka, Tatsuya Matsushima, Soshi Tsunash…
■書誌情報 Izzeddin Gur*, Hiroki Furuta*, Austin Huang, Must…
松尾・岩澤研究室主催の公開講座「スプリングセミナー 2024」では3講座を開講します.
受講を希望される方は下記ページを参考にしてください.
※申込締切:2024/1/24(水)23:59
謹んで初春のお慶びを申し上げます。
旧年中はひとかたならぬご厚情を賜り、誠にありがとうございました。
本年もどうぞよろしくお願いいたします。
2024年1月1日付で当研究室の岩澤有祐講師が准教授に就任しましたので、ご報告いたします。
松尾研究室は「松尾・岩澤研究室」として、今後も研究活動を加速させていきます。
引き続き松尾研は「知能を創る」ことを目標に掲げ、活動を進めて参ります。
どうぞよろしくお願いいたします。
▼岩澤インタビュー記事
「視野を広げ、長期的な研究に打ち込める。」常に変化を続ける、松尾研での9年間。