Lecture
講義
最先端の大規模言語モデル(LLM)の基礎理論から応用事例まで網羅的にマスターしよう!
生成AIの基盤モデルとして注目を集める大規模言語モデル(LLM)について体系的に学べる実践型講座。LLMの基本からスタートし、LLMの学習や推論を支える技術、公開されているLLMやAPIなどの活用方法まで幅広く学べます。
実践型のデータサイエンティスト育成講座およびDeep Learning講座を10年以上運営し、のべ30,000人以上の人材を育成してきた東京大学松尾・岩澤研究室がコンテンツを監修・開発しています。
概要
LLMの原理から
アーキテクチャーまで取り扱う実践的な講義
本講座はサマースクールの一環として大規模言語モデル(Large Language Models/LLM)に関して体系的に学べる講座を目的として開催されます。具体的には以下のスキルを身につける事を目的としています。
・LLMの原理について,事前学習からRLHFまでの一連の流れや意味合いを理解する
・LLMの学習や推論を支える技術について理解する
・すでに公開されているLLMやAPIなどの活用方法を理解する
本講座では、東京大学Deep Learning基礎講座・応用講座を公開してきた松尾・岩澤研究室が全面的に演習コンテンツを監修・作成しています。実践的な演習を通して、手を動かしながら技術を深く理解し、幅広いトピックを網羅します。
※本講座はページ下部の前提条件をご確認の上、条件が当てはまる方を対象としています。
LLMのアーキテクチャーまで取り扱う実践的な講義のため、ご自身のレベルに見合っているかご確認の上ご応募ください。
本講義は完全オンラインで実施いたします。
受講のメリット
-
01
大規模言語モデル(LLM)を
体系的に学べる -
02
LLMの学習や推論を支える
技術を理解できる -
03
公開済モデルやAPIを活用する
スキルを理解できる
カリキュラム
〇募集開始 2024/7/9(火)
〇ID登録締切 2024/8/23(金)10:00 ※再延長しました ※学生のみ必要
〇募集締切 2024/8/26(月) ※再延長しました
〇選考結果 2024/8/29(水)19:00までに応募者全員にお送りします。※学生の方より随時選考結果をご案内しております
〇毎週水曜日 ※第6回は10/04(金)
〇時間:19:00〜21:00 ※第6回は10:00〜12:00
〇本講義は完全オンライン(zoom)で開催いたします。
※日程・授業コンテンツに関しては、変更する場合がございます。ご了承ください。
日時 | 担当 | カリキュラム | |
---|---|---|---|
第1回 | 2024/09/04(水) 19:00〜21:00 |
岩澤 有祐 小島 武 |
Overview |
第2回 | 2024/09/11(水) 19:00〜21:00 |
原田 憲旺 ベルトン 璃亜武 |
PromptingとRAG |
第3回 | 2024/09/18(水) 19:00〜21:00 |
川西 発之 原田 憲旺 |
Pre-training |
第4回 | 2024/09/25(水) 19:00〜21:00 |
岩澤 有祐 余 振軒 |
Scaling Law |
第5回 | 2024/10/02(水) 19:00〜21:00 |
中筋 渉太 小橋 洋平 |
Supervised Fine-Tuning |
第6回 | 2024/10/04(金) 10:00〜12:00 |
小菅 敦丈 | LLMの発展を支える半導体エコシステム |
第7回 | 2024/10/09(水) 19:00〜21:00 |
髙城 頌太 | RLHF & Alignment |
第8回 | 2024/10/16(水) 19:00〜21:00 |
坂本 航太郎 沖村 樹 |
Advanced Pre-training |
第9回 | 2024/10/23(水) 19:00〜21:00 |
小島 武 下村 晃生 林 祐太 今井 裕雅 池田 柳之介 |
Safety |
第10回 | 2024/10/30(水) 19:00〜21:00 |
峰岸 剛基 小林 悟郎 |
LLMの分析と理論 |
第11回 | 2024/11/06(水) 19:00〜21:00 |
助田 一晟 金 剛洙 ベルトン 璃亜武 |
Application of LLM (Domain Specific LLM) |
第12回 | 2024/11/13(水) 19:00〜21:00 |
松嶋 達也 古田 拓毅 ベルトン 璃亜武 |
Application of LLM (LLM for Control) |
最終課題 | 2024/11~12 (予定) |
|
受講生同士で競い合う、 LLMに関するコンペティション型の最終課題を実施予定 |
体制
企画・監修
松尾 豊
Matsuo Yutaka
東京大学大学院
工学系研究科
松尾・岩澤研究室
岩澤 有祐
Iwasawa Yusuke
東京大学大学院
工学系研究科
松尾・岩澤研究室
講師
岩澤 有祐
Iwasawa Yusuke
東京大学大学院
工学系研究科
松尾・岩澤研究室
小島 武
Kojima Takeshi
東京大学大学院
工学系研究科
松尾・岩澤研究室
金 剛洙
Kim Kangsoo
東京大学大学院
工学系研究科
松尾・岩澤研究室
小菅 敦丈
Kosuge Atsutake
東京大学大学院
工学系研究科
小菅研究室
原田 憲旺
Harada Keno
東京大学大学院
工学系研究科
川西 発之
Kawanishi Hotsuyuki
中筋 渉太
Nakasuji Shota
東京大学大学院
工学系研究科
髙城 頌太
Takashiro Shota
東京大学大学院
工学系研究科
坂本 航太郎
Sakamoto Kotaro
東京大学大学院
工学系研究科
下村 晃生
Shimomura Teruki
九州工業大学
工学部 宇宙システム工学科
林 祐太
Hayashi Yuta
京都大学大学院エネルギー
科学研究科
株式会社Determinant
代表取締役
今井 裕雅
Imai Yuya
東京大学工学部
峰岸 剛基
Minegishi Gouki
東京大学大学院
工学系研究科
小林 悟郎
Kobayashi Goro
東北大学大学院
情報科学研究科
助田 一晟
Sukeda Issey
東京大学大学院
情報理工学系研究科
株式会社EQUES
松嶋 達也
Matsushima Tatsuya
東京大学大学院
工学系研究科
松尾・岩澤研究室
古田 拓毅
Furuta Hiroki
東京大学大学院
工学系研究科
ベルトン 璃亜武
Belton Liam
早稲田大学先進理工学部
電気情報生命工学科
余 振軒
Yu Zhenxuan
立教大学
人工知能科学研究科
小橋 洋平
Kobashi Yohei
東京大学大学院
工学系研究科
松尾・岩澤研究室
沖村 樹
Okimura Itsuki
池田 柳之介
Ikeda Ryunosuke
TA
登坂 充
Tosaka Shu
東京大学大学院
新領域創成科学研究科
メディカル情報生命専攻
申込
受講対象者
学生(大学院生、大学生、短大生、専門学校生、高専生、高校生、中学生、社会人学生)
※大学生と社会人学生の場合、学士以上の学位取得ができる学生が対象(科目等履修生は対象外)
※受講中に上記の条件に当てはまらないことが発覚した場合は、受講資格を取り消すことがあります。
社会人(東京大学の教職員、国家・地方公務員、研究者、スタートアップ企業の社員、メタバース工学部会員企業の社員)
※受講中に上記の条件に当てはまらないことが発覚した場合は、受講資格を取り消すことがあります。
※ご応募は1人1属性1回までです。別属性からの重複応募は無効となります。
※ご自身に応募資格があるのかわからない・どの属性にあてはまるのかわからない場合には、最も近いと判断する属性区分からお申し込みください。お問い合わせフォームからご質問をいただいてもお答えいたしかねます。
※メタバース工学部会員企業の社員の方については、ご所属企業からのご案内をお待ちください(8月予定)
※過去に受講された方の今期への申し込みは可能ですが、参加対象者やその他条件等でご案内いたしかねる場合もございますので、あらかじめご了承ください
※応募後の内容変更はできません。送信ボタンを押す前に内容をよくご確認ください。
※受講希望者が多数の場合には、抽選を行います。
※本講座は下記の前提条件をご確認の上、条件が当てはまる方を対象としています。LLMのモデルのアーキテクチャーまで取り扱う実践的な講義のため、ご自身のレベルに見合っているかご確認の上ご応募ください。
※受講前提に達してない方々に関しては、松尾研の他講座( GCI・DL基礎等)の受講を推奨します。(各講座受講対象制限あり。現在募集していません)
前提条件
・Zoom、Googleサービス(google drive、google form、google colab等)、Webブラウザ、Slackを利用できるPCが用意できること
・毎回の講義を確実に視聴できること(録画視聴も可能)
・最低でも毎回3時間程度の自習時間が確保できること
・大学レベルの線形代数、微分積分、確率論・統計学に関する知識を有すること
・機械学習の基礎知識を備え、基礎的な実装が自身でできること (PytorchTensorFlow,JAXなどのフレームワークを使ってモデルの構築・訓練・評価を行った経験があること)
受講の仕組み
講義について
本セミナーは、配信される講義映像を、各人が自宅等で視聴・演習していただく形式です
・各講義日の19:00〜21:00にライブ配信します(一部別日時あり)。ライブ配信では、リアルタイムに質問を受け付けます
・アーカイブ動画を視聴しての受講も可能です(修了するには、期限内に出席登録をする必要があります)
・ライブ配信への参加方法などの詳細については、受講が決定した方にご連絡いたします
・本講座は公開講座であり、大学から単位は出ません
・受講料は無料です
・講義日程・内容は変更になる場合がございます。
修了要件
本講座を修了するためには、以下の条件が必要です。
1. 一定回数以上の出席(録画講義を視聴し、講義後1週間は出席登録可能)
2. 宿題を一定回数以上提出し、一定の点数を得る
3. 最終課題(予定)を提出し、一定の点数を得る
修了者へのベネフィット
・修了証(PDF)が発行されます。
・修了者にクローズドなコミュニティへご参加頂き、様々な交流イベント等のご案内をしていきます。
・データサイエンス/深層学習関連のイベント・勉強会や研究プロジェクトへのご案内をしていきます。(参加条件等あり。)
留意事項
受講可否メール等が迷惑メールフォルダに入ってしまう事例が多数発生しています。
下記
@weblab.t.u-tokyo.ac.jpと@mail.edu.omnicamp.usからのメールが「迷惑メールフォルダ」に
入らないように必ず設定をお願いします。
結果通知の日時を過ぎてもメールが届かない場合は、まず「迷惑メールフォルダ」の確認をお願いします。
上記を確認されても見当たらない場合は、お問い合わせフォームからご連絡ください。
ID登録締切│
2024年8月23日(金) AM10時 ※終了しました
申込締切│
2024年8月26日(月) ※終了しました
※定員に達し次第、申込受付を締め切ります。
※学生の方は、最初にID登録を行なっていただき、その後、講座へ申し込みいただきます。
※既にID登録済の学生の方は、Omnicampusへログインください。
※社会人の方はID登録不要です。
※メタバース工学部会員企業様の受講お申し込みは、各企業からのご案内をご参照ください。(8月頃予定)
よくある質問
・出席の提出締切まで(通常は講義から1週間以内)にご視聴の上、アンケートにご回答いただければ出席とカウントされます。
・ただし、一部講義の特定回(外部ゲストの講演等)は、アーカイブ配信をしない場合がありますので予めご了承ください。
記入内容に不備がある場合、画面が変わらずお申し込みができません。
以下をご確認ください。
<学生の方>
(1)Gmailアドレス
→ドメインが@gmail.com以外のアドレスを入力されていないか
(メールアドレスの後に半角・全角の空白が入らないようご留意ください。)
(2)卒業予定年月日
→卒業済みでないか、また正しく入力できているか
(3)学生証などの入力を確認できる画像
→JPEG, JPG, PNGのいずれかの形式か
– TIFF形式(iPhoneの画像)は対応していません。
→画像2枚を提出しているか
(4)利用規約とプライバシーポリシー
→チェックを入れているか
(5)私は正規の学生です
(大学生と社会人学生の場合、学士の学位が取得できる方が対象となります。)
→チェックを入れているか
(6)すべての項目に入力漏れがないか
(7)過去にomnicampusで同一メールアドレスでご受講登録されたことがないか
→ご受講されたことがある場合は、上部にある [Omnicampusへログイン]から受講申込ください。
不備がない状態でも解決しない場合、申し込み画面をリロードの上再度ご入力ください。
・迷惑メールフォルダに入っていないかをご確認ください。
・<@weblab.t.u-tokyo.ac.jp> <@mail.edu.omnicamp.us>が迷惑メールに入らないよう設定をしていますか?まだの場合は設定をお願いします。
・上記3点をご確認いただいても届いていない場合は、メールアドレスを入力ミスされた可能性があります。[お問い合わせフォーム](リンク)より運営に問い合わせてください。再登録依頼をご連絡します。
・各講座のLPに受講可否のメール送信予定日を記載していますので、お待ちください。
・複数の講座に応募した場合、講座によって受講可否の通知タイミングが異なります。
【受講可否のメール送信日を過ぎている場合】
・お申し込みをしたメールアドレスの受信フォルダをご確認ください。
その他のよくある質問はこちら(リンク)
※お問い合わせフォームから受講の応募は受けつけておりません。
※募集締め切り後のご応募はお受けしておりません。
※回答にお時間をいただく場合がございます。ご了承ください。
申込
ID登録締切│
2024年8月23日(金) AM10時 ※終了しました
申込締切│
2024年8月26日(月) ※終了しました
※定員に達し次第、申込受付を締め切ります。
※学生の方は、最初にID登録を行なっていただき、その後、講座へ申し込みいただきます。
※既にID登録済の学生の方は、Omnicampusへログインください。
※社会人の方はID登録不要です。
※メタバース工学部会員企業様の受講お申し込みは、各企業からのご案内をご参照ください。(8月頃予定)