当研究室の論文がNAACL 2024に採録されました。
■書誌情報 Takeshi Kojima, Itsuki Okimura, Yusuke Iwasawa, H…
■書誌情報 Takeshi Kojima, Itsuki Okimura, Yusuke Iwasawa, H…
東京大学大学院工学系研究科技術経営戦略学専攻 松尾・岩澤研究室(以下「松尾研」)は、この度経済産業省及び国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)が開始する、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC(Generative AI Accelerator Challenge)」において、基盤モデル開発に必要な計算資源の提供支援を受け、500億パラメータサイズの公開型基盤モデル開発に取り組むことをお知らせします。
本取り組みにあたっては、開発された大規模言語モデル(以下「LLM」)の公開のみならず、開発過程の公開、そしてこれらの成果を社会全体で共有することを通じ、日本全体のLLM開発の技術レベル向上と社会実装の加速を目指します。
本活動では、2023年8月に公開した100億パラメータサイズのLLM「Weblab-10B」の開発経験をベースに、東京大学松尾研究室が提供する大規模言語モデル講座(2023年8月開催、2000名以上が受講)の修了生及び一般公募によって集まった有志の開発者(⺠間企業・研究者・学⽣で構成)が、最新の研究成果や技術的な知見を取り入れ、開発を進めます。
一般的にLLMの最適なモデル構造やハイパーパラメータは十分に分かっていないため、第1フェーズにおいては8チームに分かれて複数の研究テーマを設定し探索を行い、知見を共有しながら試行錯誤することで、実用的かつ効率的な手法を採用します。その後第2フェーズでは、最優秀に選ばれた1チームが500億パラメータサイズのLLM開発に取り組むことを予定しています。なお、本活動は、基盤モデルの開発評価の過程でWeights & Biases社のプラットフォームを活用した開発を進めていきます。
松尾研では本活動に参加を希望される有志の開発者を募集しております。募集要項は下記ページをご確認ください。
https://weblab.t.u-tokyo.ac.jp/geniac_llm
本活動を通じて開発されたモデル・ソースコード・開発過程・ノウハウは、2024年4月以降、松尾研のホームページ等を通じ広く公開してまいります。これらの透明性の高いアプローチを通じ、社会全体の技術リテラシーの向上と産業界やアカデミアにおける応用を促進して参ります。
注釈
(注1)国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)「ポスト5G情報通信システム基盤強化研究開発事業/ポスト5G情報通信システムの開発」事業。経済産業省が主導する基盤モデルの開発に必要な計算資源に関する支援や関係者間の連携を促す「GENIAC」プロジェクトの一環として採択事業者に一定の計算資源に関わる助成を行うもの。
GENIACの詳細はこちら:
https://www.meti.go.jp/press/2023/02/20240202003/20240202003.html
https://www.meti.go.jp/policy/mono_info_service/geniac/index.html
東京大学 大学院工学系研究科 松尾・岩澤研究室
E-mail:pr@weblab.t.u-tokyo.ac.jp
■書籍情報 Mimo Shirasaka, Tatsuya Matsushima, Soshi Tsunash…
■書誌情報 Izzeddin Gur*, Hiroki Furuta*, Austin Huang, Must…
◼︎書誌情報
冨山翔司, 鈴木雅大, 落合桂一, 松尾豊: 文書生成タスクに対する強化学習応用における文書生成器のサンプルに非依存な報酬関数学習フレームワークの提案
◼︎概要
文書生成タスクにおいて,強化学習は有効な手法であると知られている.過去の研究で提案された手法はいずれも,報酬関数の人手による設計の難しさからデータによる学習を試み,その際に文書生成器のサンプルを用いていた.本論文では,報酬関数の学習に文書生成器のサンプルを用いることで引き起こされる,学習時に生成器の学習の進捗を定量的に可視化できないという課題に対し,報酬関数の学習に文書生成器のサンプルを一切用いないGenerator-independent Reward Learningというフレームワークを提案する.本フレームワークに則った手法では,文書生成器の学習を定量的に可視化でき,かつ,代表的な文書生成タスクに対する強化学習応用手法に対して,性能面でも上回ることを確認した.
■書誌情報 Xin Zhang*, Jiaxian Guo*, Paul Yoo, Yutaka Matsuo…
2023年6月6日~9日に熊本城ホール(熊本県熊本市) で開催された第37回人工知能学会全国大会(JSAI20…
*IROS(IEEE/RSJ International Conference on Intelligent Robots and Systems)とは:
国際ロボット研究の分野において、将来の方向性と最新のアプローチ・設計・成果を強調しながらインテリジェントロボットとスマートマシンにおける科学技術の最前線を探求する大規模で影響力のあるフォーラムで、松尾研が注力する研究分野の一つである世界モデルに関する研究者も参加しています。
■IROS 2023公式HP
https://ieee-iros.org/
■書誌情報 Paul Yoo, Jiaxian Guo, Yutaka Matsuo, Shixiang Sh…
◼︎書誌情報 Hitoshi Nakanishi, Masahiro Suzuki, Yutaka Matsu…