LLM 大規模言語モデル講座 2023コンテンツ 公開

Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language.

松尾研究室が2023年9~10月に東京大学サマースクールで開催した
LLM 大規模言語モデル講座のコンテンツを無償公開しています。

本講座は約2,000名の受講者が参加し、全7回の講義を実施しました。
最終課題としてGPUを使ったコンペティションでは約800名が参加し熱戦を繰り広げました。

2023年12月27日時点では講義のスライドの公開のみしております。
演習コンテンツ(ipynb)は2024年1月公開予定です。

ダウンロードは利用規約を確認の上、下記ページからダウンロードをお願いいたします。

https://weblab.t.u-tokyo.ac.jp/llm_contents/

【東大松尾研】2023年の活動報告

こんにちは、松尾研 広報チームです。 本郷キャンパスの銀杏並木も葉を落とし、すっかり冬景色に変わりました。 2023年も残すところ僅かということで、今年の松尾研の活動をまとめて振り返ります。   1.論文・活動実績 今年はICLR、ICMLを始めとする、下記の国際学会や論文誌などに採録されました。     ◆International Conference on Learning Representations (ICLR 2023) Interaction-Based Disentanglement of Entities for Object-Centric World Models 著者:​​​​​​​​​​​​Akihiro Nakano, Masahiro Suzuki, Yutaka Matsuo A System for Morphology-Task Generalization via Unified Representation and Behavior Distillation 著者:Hiroki Furuta, Yusuke Iwasawa, Yutaka Matsuo, Shixiang Shane Gu DiffusER: Diffusion via Edit-based Reconstruction…

Our paper was accepted for 電子情報通信学会和文論文誌D

◼︎書誌情報
冨山翔司, 鈴木雅大, 落合桂一, 松尾豊: 文書生成タスクに対する強化学習応用における文書生成器のサンプルに非依存な報酬関数学習フレームワークの提案
◼︎概要
文書生成タスクにおいて,強化学習は有効な手法であると知られている.過去の研究で提案された手法はいずれも,報酬関数の人手による設計の難しさからデータによる学習を試み,その際に文書生成器のサンプルを用いていた.本論文では,報酬関数の学習に文書生成器のサンプルを用いることで引き起こされる,学習時に生成器の学習の進捗を定量的に可視化できないという課題に対し,報酬関数の学習に文書生成器のサンプルを一切用いないGenerator-independent Reward Learningというフレームワークを提案する.本フレームワークに則った手法では,文書生成器の学習を定量的に可視化でき,かつ,代表的な文書生成タスクに対する強化学習応用手法に対して,性能面でも上回ることを確認した.

Our paper was accepted for ICASSP 2024.

◼︎Bibliographic information Xin Zhang*, Jiaxian Guo*, Paul Yoo, Yutaka Matsuo, Yusuke Iwasawa. “PASTE AND HARMONIZE VIA DENOISING: SUBJECT-DRIVEN IMAGE EDITING WITH FROZEN PRE-TRAINED DIFFUSION MODEL”. ICASSP 2024 ◼︎Overview Text-to-image generative models have attracted rising attention for flexible image editing via user-specified descriptions. However, text descriptions alone are not enough to elaborate the details of subjects,…