NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します。

東京大学松尾・岩澤研究室

日本全体の開発レベル向上を志し、

公開型での500億パラメータサイズの大規模言語モデル開発を開始

―NEDO「ポスト5G情報通信システム基盤強化研究開発事業」事業(注1)採択事業者に決定

 

 

東京大学大学院工学系研究科技術経営戦略学専攻 松尾・岩澤研究室(以下「松尾研」)は、この度経済産業省及び国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)が開始する、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC(Generative AI Accelerator Challenge)」において、基盤モデル開発に必要な計算資源の提供支援を受け、500億パラメータサイズの公開型基盤モデル開発に取り組むことをお知らせします。

本取り組みにあたっては、開発された大規模言語モデル(以下「LLM」)の公開のみならず、開発過程の公開、そしてこれらの成果を社会全体で共有することを通じ、日本全体のLLM開発の技術レベル向上と社会実装の加速を目指します。

 

発表の詳細

 本活動では、2023年8月に公開した100億パラメータサイズのLLM「Weblab-10B」の開発経験をベースに、東京大学松尾研究室が提供する大規模言語モデル講座(2023年8月開催、2000名以上が受講)の修了生及び一般公募によって集まった有志の開発者(⺠間企業・研究者・学⽣で構成)が、最新の研究成果や技術的な知見を取り入れ、開発を進めます。

 一般的にLLMの最適なモデル構造やハイパーパラメータは十分に分かっていないため、第1フェーズにおいては8チームに分かれて複数の研究テーマを設定し探索を行い、知見を共有しながら試行錯誤することで、実用的かつ効率的な手法を採用します。その後第2フェーズでは、最優秀に選ばれた1チームが500億パラメータサイズのLLM開発に取り組むことを予定しています。なお、本活動は、基盤モデルの開発評価の過程でWeights & Biases社のプラットフォームを活用した開発を進めていきます。

 松尾研では本活動に参加を希望される有志の開発者を募集しております。募集要項は下記ページをご確認ください。

 https://weblab.t.u-tokyo.ac.jp/geniac_llm

 

 本活動を通じて開発されたモデル・ソースコード・開発過程・ノウハウは、2024年4月以降、松尾研のホームページ等を通じ広く公開してまいります。これらの透明性の高いアプローチを通じ、社会全体の技術リテラシーの向上と産業界やアカデミアにおける応用を促進して参ります。

 

注釈

(注1)国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)「ポスト5G情報通信システム基盤強化研究開発事業/ポスト5G情報通信システムの開発」事業。経済産業省が主導する基盤モデルの開発に必要な計算資源に関する支援や関係者間の連携を促す「GENIAC」プロジェクトの一環として採択事業者に一定の計算資源に関わる助成を行うもの。

GENIACの詳細はこちら:
https://www.meti.go.jp/press/2023/02/20240202003/20240202003.html
https://www.meti.go.jp/policy/mono_info_service/geniac/index.html

 

本件に関する問合せ先

東京大学 大学院工学系研究科 松尾・岩澤研究室
E-mail:pr@weblab.t.u-tokyo.ac.jp

当研究室の論文が電子情報通信学会和文論文誌Dに採録されました。

◼︎書誌情報
冨山翔司, 鈴木雅大, 落合桂一, 松尾豊: 文書生成タスクに対する強化学習応用における文書生成器のサンプルに非依存な報酬関数学習フレームワークの提案
◼︎概要
文書生成タスクにおいて,強化学習は有効な手法であると知られている.過去の研究で提案された手法はいずれも,報酬関数の人手による設計の難しさからデータによる学習を試み,その際に文書生成器のサンプルを用いていた.本論文では,報酬関数の学習に文書生成器のサンプルを用いることで引き起こされる,学習時に生成器の学習の進捗を定量的に可視化できないという課題に対し,報酬関数の学習に文書生成器のサンプルを一切用いないGenerator-independent Reward Learningというフレームワークを提案する.本フレームワークに則った手法では,文書生成器の学習を定量的に可視化でき,かつ,代表的な文書生成タスクに対する強化学習応用手法に対して,性能面でも上回ることを確認した.

IROS2023の世界モデルに関するWorkshop “World Models and Predictive Coding in Cognitive Robotics”で当研究室 特任助教の鈴木雅大が登壇しました。

2023年10月1日〜10月5日にデトロイト(アメリカ)で開催されたIROS 2023*に当研究室 特任助教の鈴木雅大が参加し、認知ロボットのための世界モデルと予測符号化に関するワークショップ(Workshop on World Models and Predictive Coding in Cognitive Robotics)で当研究室 特任助教の鈴木雅大が登壇しました。下記に発表スライドを掲載します。

 

 

*IROS(IEEE/RSJ International Conference on Intelligent Robots and Systems)とは:
国際ロボット研究の分野において、将来の方向性と最新のアプローチ・設計・成果を強調しながらインテリジェントロボットとスマートマシンにおける科学技術の最前線を探求する大規模で影響力のあるフォーラムで、松尾研が注力する研究分野の一つである世界モデルに関する研究者も参加しています。

■IROS 2023公式HP
https://ieee-iros.org/

 

参考記事:「世界モデル」とは何か? 知能の実現に向けて、松尾研が研究を推進する理由。

「世界モデル」とは何か? 知能の実現に向けて、松尾研が研究を推進する理由。