【松尾・岩澤研究室リサーチインターンシップ】研究テーマとメンターのご紹介

Lab NewsBy 白石萌莉 2024年04月26日

松尾・岩澤研究室では，「知能を創る」というミッションのもと，世界モデルをはじめとした深層学習やそれを超える基礎技術の開発，ロボティクスや大規模言語モデル，アルゴリズムの社会実証といった幅広い研究領域で活動しています．フルタイムの研究員の数も10名を超え（今後も継続的に増やす予定です），2023年度にはICML，ICLR，NAACL，ICRAなどのトップ会議に14本の論文が採択されています（最近の採択論文一覧はこちら）．

こうした活動を更に拡大するため，新たな試みとして第1期のリサーチインターンシップの募集を行います．各領域の第一線で活躍する研究者のメンタリングのもと，普段は外部からは見えにくい，研究室の中の研究活動の現場を体験することができます．

本記事ではリサーチインターンで募集するテーマと、メンターのご紹介をさせていただきます。

リサーチインターンシップについての詳細：http://weblab.t.u-tokyo.ac.jp/2024-04-17/

【松尾・岩澤研究室】第１期リサーチインターンシップ募集（応募締切：2024年5月31日（金））

For Students/Researchers, Lab NewsBy 白石萌莉 2024年04月17日

神戸市と連携し「GCI 2024 Summer」パブリックビューイングを開催します。

Lab NewsBy 白石萌莉 2024年04月09日

この度松尾・岩澤研究室は神戸市と連携し、AI・データサイエンスのスキル習得を目指す学生に向け「GCI 2024 Summer」のパブリックビューイングを実施することをお知らせします。

東京大学グローバル消費インテリジェンス寄付講座（以下、「GCI」）は、データサイエンスを通じてAIの基礎となる考え方を学び、マーケティングを中心としたビジネス課題解決の力を身につける、AI入門講座です。 2014年より開催し、これまで12,500名以上ににデータサイエンスの基礎〜機械学習スキル習得の機会を提供してまいりました。

神戸市では、スタートアップ支援の一環として、2021年からエンジニア創出支援事業である「Kobe Enginieer’s Lab」を推進しているほか、2023年には世界で６拠点目となるMicrosoft AI Co-Innovation Labの誘致を果たすなど、エンジニア、AI・データサイエンティストが生まれやすい街を目指した取り組みを進めています。

詳細は下記をご覧ください。
https://www.city.kobe.lg.jp/a14333/021918496948.html

▼東京大学グローバル消費インテリジェンス寄付講座（GCI）

本講座はデータサイエンスを通じてAIの基礎となる考え方を学び、マーケティングを中心としたビジネス課題解決の力を身につける、AI入門講座です。
通算20期目の開催となります。これまで12,500名以上にデータサイエンスの基礎〜機械学習スキル習得の機会を提供してきました。
東大生はもとより、全国の学生（大学院生、大学生、短大生、専門学校生、高専生、高校生、中学生）が受講可能です。また、社会人についても、メタバース工学部の法人会員の社員受講者や、ライフイベント（介護・育児等）による休職者の方も一部受け付けております。

＜公式サイト＞https://gci2.t.u-tokyo.ac.jp/

Yoshua Bengio先生が松尾研究室を訪問されました。

Lab NewsBy 白石萌莉 2024年03月12日

Yoshua Bengio先生が、先日松尾研究室を訪問されましたので、ご報告します。 Bengio先生はモント…

松尾研LLM開発プロジェクトのキックオフを開催しました。

Lab NewsBy 白石萌莉 2024年03月11日

2024年3月2日（土）に、松尾研LLM開発プロジェクトのキックオフを実施しましたのでご報告いたします。

本プロジェクトは、当研究室が提供する講座の修了生および一般公募によって集まった有志の開発者のメンバーが500億パラメータサイズの大規模言語モデル開発を進めるものです。

また、開発された大規模言語モデル（LLM）の公開のみならず、開発過程の公開、そしてこれらの成果を社会全体で共有することを通じ、日本全体のLLM開発の技術レベル向上と社会実装の加速を目指します。

なお、本プロジェクトは国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）による、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」において、基盤モデル開発に必要な計算資源の提供支援を受けています。

▼参考：NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します。

https://weblab.t.u-tokyo.ac.jp/2024-02-02/

▼参考：「GENIAC」プロジェクトの詳細はこちら

https://www.meti.go.jp/policy/mono_info_service/geniac/index.html

今回のキックオフイベントでは、総勢100名弱のメンバーがオフラインで参加。
松尾教授による本プロジェクトの紹介や、研究開発支援グループのリーダー小島武による技術支援やweblab10B開発秘話の紹介に始まり、全7チームのリーダーに開発方針やチーム体制などについて発表していただきました。

松尾教授からは「このプロジェクトの中で、試行錯誤しながら重要であるノウハウを共有することで良いモデルを作り、開発経験を積んでもらいたい。また、このプロジェクトを通して、より多くのLLM開発者を生み出し、参加者の皆さんが様々なところで活躍してもらうのが望みだ」とのコメントがありました。

当日の様子は下記リンクよりご覧いただけますので、ご興味がありましたらご覧ください。

https://youtu.be/Tbn8IoqHENs?si=ccsYbdqbt3qxmOBZ

また、本プロジェクトの開発進捗はコミュニティメンバーとしてどなたでも自由に閲覧可能です。下記ページにアクセスの上Slackにご参加ください。

▼松尾研LLM開発プロジェクト特設ページ

https://weblab.t.u-tokyo.ac.jp/geniac_llm

NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します。

Jobs, Research NewsBy 白石萌莉 2024年02月02日

東京大学松尾・岩澤研究室

日本全体の開発レベル向上を志し、

公開型での500億パラメータサイズの大規模言語モデル開発を開始

―NEDO「ポスト5G情報通信システム基盤強化研究開発事業」事業（注１）採択事業者に決定―

東京大学大学院工学系研究科技術経営戦略学専攻松尾・岩澤研究室（以下「松尾研」）は、この度経済産業省及び国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が開始する、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」において、基盤モデル開発に必要な計算資源の提供支援を受け、500億パラメータサイズの公開型基盤モデル開発に取り組むことをお知らせします。

本取り組みにあたっては、開発された大規模言語モデル（以下「LLM」）の公開のみならず、開発過程の公開、そしてこれらの成果を社会全体で共有することを通じ、日本全体のLLM開発の技術レベル向上と社会実装の加速を目指します。

発表の詳細

　本活動では、2023年8月に公開した100億パラメータサイズのLLM「Weblab-10B」の開発経験をベースに、東京大学松尾研究室が提供する大規模言語モデル講座（2023年8月開催、2000名以上が受講）の修了生及び一般公募によって集まった有志の開発者（⺠間企業・研究者・学⽣で構成）が、最新の研究成果や技術的な知見を取り入れ、開発を進めます。

　一般的にLLMの最適なモデル構造やハイパーパラメータは十分に分かっていないため、第1フェーズにおいては8チームに分かれて複数の研究テーマを設定し探索を行い、知見を共有しながら試行錯誤することで、実用的かつ効率的な手法を採用します。その後第2フェーズでは、最優秀に選ばれた1チームが500億パラメータサイズのLLM開発に取り組むことを予定しています。なお、本活動は、基盤モデルの開発評価の過程でWeights & Biases社のプラットフォームを活用した開発を進めていきます。

　松尾研では本活動に参加を希望される有志の開発者を募集しております。募集要項は下記ページをご確認ください。

　https://weblab.t.u-tokyo.ac.jp/geniac_llm

　本活動を通じて開発されたモデル・ソースコード・開発過程・ノウハウは、2024年4月以降、松尾研のホームページ等を通じ広く公開してまいります。これらの透明性の高いアプローチを通じ、社会全体の技術リテラシーの向上と産業界やアカデミアにおける応用を促進して参ります。

注釈

（注１）国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）「ポスト5G情報通信システム基盤強化研究開発事業／ポスト５Ｇ情報通信システムの開発」事業。経済産業省が主導する基盤モデルの開発に必要な計算資源に関する支援や関係者間の連携を促す「GENIAC」プロジェクトの一環として採択事業者に一定の計算資源に関わる助成を行うもの。

GENIACの詳細はこちら：
https://www.meti.go.jp/press/2023/02/20240202003/20240202003.html
https://www.meti.go.jp/policy/mono_info_service/geniac/index.html