東京大学大学院工学系研究科技術経営戦略学専攻 松尾・岩澤研究室（以下「松尾研」）は、大規模言語モデル（LLM）の加速度的増加・発展を受け、2024年10月にGoogleの寄付により2027年9月までの期間で「LLM寄付講座」を設置しました。
松尾研ではこれまでWeblab-10Bの開発やGENIACプロジェクトでのTanuki-8×8Bといった大規模モデルの開発、またプロンプティング（[1]）、LLMの多言語能力の理解（[2]）、Safety（[3]）、ロボティクスでの応用研究（[4]）などさまざまな研究開発を行ってきました。
また、2023年度はLLMに関する全7回の講座を開講し、約2000名に講義を提供しました。
2024年度は「Safety」「LLMの分析と理論「Domain Specific LLM」「LLM for Control」等のテーマを新規追加の上、全12回に講義を拡張し、受講申込み者約4000名を対象に講義を提供しています。
本寄付講座では、これまでの取り組みを更に拡大し、LLMの領域特化モデルの開発やLLMのシステムへの統合、公平性を始めとした社会的影響に関する研究開発、また最先端の技術を理解し活用できる実践的な教育方法の開発と提供を加速します。
本講座の設置に伴い、LLMに関する研究開発を行う研究者およびエンジニアを追加募集します。
▼松尾・岩澤研究室採用HP
▼各種求人ページ
LLM研究者：https://herp.careers/v1/weblab/j2i2oZtd_tBq
LLM開発エンジニア：https://herp.careers/v1/weblab/1x8p6tXgtCyC
【担当教員】
特任教授 松尾 豊（技術経営戦略学専攻）
特任教授 坂田 一郎（技術経営戦略学専攻）
特任准教授 岩澤 有祐（技術経営戦略学専攻）
特任准教授 吉田 塁（国際工学教育推進機構）
【LLMに関するこれまでの取り組み】
初めて開催した大規模言語モデル講座における実績は下記の通りです。
大規模言語モデルの講座を2023年9月~11月に全７回で開講し、約2,000人の受講者へ提供を実施。
受講者全員にGPUを配布し演習およびコンペティションによる学びの環境を提供。最終的に約660人が修了。
また講座後にクリエイティブ・コモンズとして無償公開された同講座の講義資料は、2万以上のDLを記録しました。
2024年度は約2倍の内容となる全12回の講義回と、2倍の受講生である4,000名の受講規模まで拡大し、2024年9月~12月までの開催を予定しています。
本講座の詳細は下記よりご覧下さい。
▼大規模言語モデル講座概要
https://weblab.t.u-tokyo.ac.jp/education/large-language-model
▼次回講座先行応募フォーム
https://docs.google.com/forms/d/e/1FAIpQLSdzJpvjY-t0elqJCdK7tPf_v8N7XBtN5r_ErlxSt3zA6TPBqw/viewform?usp=sf_link
参考論文
[1] Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, Yusuke Iwasawa. “Large Language Models are Zero-Shot Reasoners”, NeurIPS2022
[2] Takeshi Kojima, Itsuki Okimura, Yusuke Iwasawa, Hitomi Yanaka, Yutaka Matsuo. “On the Multilingual Ability of Decoder-based Pre-trained Language Models: Finding and Controlling Language-Specific Neurons”, NAACL2024
[3] Yongmin Kim, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo. “Decoupling Noise and Toxic Parameters for Language Model Detoxification by Task Vector Merging”, COLM2024
[4] Mimo Shirasaka, Tatsuya Matsushima, Soshi Tsunashima, Yuya Ikeda, Aoi Horo, So Ikoma, Chikaha Tsuji, Hikaru Wada, Tsunekazu Omija, Dai Komukai, Yutaka Matsuo Yusuke Iwasawa. “Self-Recovery Prompting: Promptable General Purpose Service Robot System with Foundation Models and Self-Recovery”, ICRA2024
