松尾研究室が2023年9~10月に東京大学サマースクールで開催した
LLM 大規模言語モデル講座のコンテンツを無償公開しています。
本講座は約2,000名の受講者が参加し、全7回の講義を実施しました。
最終課題としてGPUを使ったコンペティションでは約800名が参加し熱戦を繰り広げました。
現在、講義のスライドのみ公開しております。
ダウンロードは利用規約を確認の上、下記からダウンロードをお願いいたします。
最終更新: 2024年2月10日
問題・フィードバック報告フォームはこちら
第2回：Prompting and Augmented Language Model
事前学習済みLLMを追加学習せずに活用する技術（プロンプティング、⽂脈内学習、Augmented Language Models）について
第3回：Pre-training Pipeline
LLMの主流なモデル構造であるTransformerと、その事前学習の仕組みについて
第4回：Scaling Pre-training
LLMをスケール（大規模化）する理由、スケールにおける課題、スケールしたモデルを学習する⽅法について
第5回：Parameter Efficient Finetuning
LLMのファインチューニング（タスク適応・ドメイン適応を実現するためのFinetuning、対話性能やzero-shot・few-shot性能を向上するInstruction Tuning、および効率的なFinetuning手法であるParameter Efficient Finetuning）について
第6回：RLHF, Advanced Topic for Tuning Pre-trained Models
RLHF (Reinforcement Learning from Human Feedback) について
第7回：Going Beyond LLM
理研AIP 研究員 栗田修平氏による特別講義（「Going Beyond LLM」、LLM構築における実践的なナレッジやLLMのマルチモーダル化について）
本コンテンツは現時点では講義パートの講義スライドのみ公開しています。演習パートのコンテンツは2024年1月公開を想定しております。松尾研究室のXにてご案内しますので、こちらからご確認ください。
本スライドコンテンツには、クリエイティブコモンズのライセンス「CC BY-NC-SA 4.0 DEED (表示 – 非営利 – 継承 4.0 国際)」が適用されます。この定められた範囲で利用が可能です。
非営利の場合での二次利用は原則可能となっております。詳細はこちらよりご確認ください。
商用利用を前提とした二次利用については、こちらからお問い合わせ下さい。
問い合わせの状況や内容によっては回答しかねる場合がございます。予めご了承ください。
利用目的、改変後の内容に疑問がある場合は当研究室より問い合わせる場合がございます。
教材内容についてのお問い合わせは受け付けておりません。
著作権は東京大学に帰属します。
免責事項を確認してください。
もし本コンテンツを気に入っていただけたら、上記のアイコンからX上で拡散にご協力頂けると幸いです。より多くの人々に本コンテンツをご活用頂ければと思っております。
LLM研究者（特任研究員・特任助教・特任講師）
[1] 効率的なLLMの学習方法に関する研究
[2] LLMの動作原理の理解
[3] LLMの社会的リスクに関する研究開発
[4] その他LLMの高度化や応用に関する研究
など。詳細はこちら
LLM開発エンジニア（東京大学学術専門職員）
[1] LLMのフルスクラッチ構築（1B〜100B），継続学習
[2] LLMの社会的リスクに関する研究開発
[3] 外部知識や外部ツールとの融合（LLM Agent）
など。詳細はこちら
その他全ての募集求人はこちら
English