ロボット制御からゲームAI、金融まで
多分野で深層強化学習を使いこなそう！
Deep Learningを用いた強化学習の研究・社会実装のスタートラインに立てるレベルの知識・実装力の習得を目指す講座です。基礎的なアルゴリズムから世界モデルまで、深層強化学習の数々のトピックをカバーしています。実践的な演習が用意されており、効率的に強化学習について手を動かすことで理解を深めることができます。
実践型のデータサイエンティスト育成講座およびDeep Learning講座を10年以上運営し、のべ30,000人以上の人材を育成してきた東京大学松尾・岩澤研究室がコンテンツを監修・開発しています。
概要
基本的な強化アルゴリズムから
世界モデルまで網羅できる講座
深層学習を用いた強化学習に特化した全7回の講義です。東京大学でDeep Learning基礎講座を運営してきた松尾・岩澤研究室が、深層学習の基礎を習得済みの学生を対象として開講するものです。
本講座では、深層学習を用いた強化学習の研究・社会実装のスタートラインに立てるレベルの知識・実装力の習得を目指します。マルコフ決定過程における価値反復法や方策勾配法、モデルベース強化学習などの強化学習の基礎的なアルゴリズムから、sim2real、模倣学習、Control as Inference、世界モデルまで、深層強化学習の種々のトピックをカバーしています。講義のみでなく、実践的な演習を通して、効率的に強化学習について手を動かしながら技術を深く理解することができます。
学んだ技術の適用想定分野
ロボット制御、システム制御の自動化、ゲームAI、マルチエージェントシステム、バイオインフォマティクス、分子設計、広告最適化，物理シミュレーション、交通工学、金融
本セミナーは完全オンラインで実施いたします。
受講のメリット
-
01
深層強化学習の
研究・社会実装の
スタートラインに立てる -
02
手を動かしながら
強化学習の知識・技術を
実践的に学べる -
03
ロボット制御や
広告最適化など
幅広い分野に応用できる
カリキュラム
〇募集開始 2024/7/2（火）
〇ID登録締切 2024/7/12（金）AM10:00
〇募集締切 2024/7/16（火）AM10:00
〇選考結果 2024/7/25（木）19時までに応募者全員にお送りします。（7/24 結果通知送信しました。）
〇講義日：毎週木曜日
〇時間：14:00~16:00
〇本講義は完全オンライン（zoom）で開催いたします。
〇最終課題締切 2024/9/30（月・予定）
※授業コンテンツに関しては、変更する場合がございます。ご了承ください。
| 日時 | 担当 | カリキュラム | |
|---|---|---|---|
| 第1回 | 2024/08/01(木) 14:00〜16:00 | 北村 俊徳 | マルコフ決定過程とプランニングアルゴリズム ① テーブルマルコフ決定過程 ② 動的計画法 |
| 第2回 | 2024/08/08(木) 14:00〜16:00 | 今井 翔太 | 基本的な深層強化学習とその応用 ①主要な深層強化学習アルゴリズム（DQNなど） ②ゲームAI・他分野への強化学習応用 |
| 第3回 | 2024/08/22(木) 14:00〜16:00 | 北村 俊徳 | 連続行動空間での深層強化学習 ① 連続行動空間での深層強化学習 |
| 第4回 | 2024/08/29(木) 14:00〜16:00 | 髙城 頌太 | オフラインデータを利用する手法 ① 模倣学習 ② オフライン強化学習 |
| 第5回 | 2024/09/05(木) 14:00〜16:00 | 谷口 尚平 | Control as Inference ① Control as Inference ② モデルベース強化学習導入 |
| 第6回 | 2024/09/12(木) 14:00〜16:00 | 佐藤 誠人 | モデルベース強化学習と発展的話題 ① ロボット学習 ② モデルに基づく制御 ③ モデルベース強化学習 ④ 強化学習の観点からみた世界モデル |
| 第7回 | 2024/09/19(木) 14:00〜16:00 | 高波 亮介・（ゲストスピーカー）ソニーリサーチ河本様 | 応用を見据えた近年の発展的話題 ①基盤モデルとロボティクス ② (特別講義)レーシングシミュレーションゲーム「グランツーリスモ」における連続値強化学習の応用 |
体制
企画・監修
松尾豊
Matsuo Yutaka
東京大学大学院
工学系研究科
松尾・岩澤研究室
松嶋 達也
Matsushima Tatsuya
東京大学大学院
工学系研究科
松尾・岩澤研究室
講師
松嶋 達也
Matsushima Tatsuya
東京大学大学院
工学系研究科
松尾・岩澤研究室
北村 俊徳
Kitamura Toshinori
東京大学大学院
工学系研究科
技術経営戦略学専攻
今井 翔太
Imai Shota
谷口 尚平
Taniguchi Shohei
東京大学大学院
工学系研究科
松尾・岩澤研究室
髙城 頌太
Takashiro Shota
東京大学大学院
工学系研究科
技術経営戦略学専攻
佐藤 誠人
Sato Makoto
奈良先端科学技術大学院大学
先端科学技術研究科
高波 亮介
Takanami Ryosuke
東京大学 大学院
工学系研究科
技術経営戦略学専攻
講師（ゲストスピーカー）
河本 献太
Kawamoto Kenta
株式会社ソニーリサーチ
TA
登坂 充
Tosaka Shu
東京大学大学院
新領域創成科学研究科
メディカル情報生命専攻
申込
受講対象者
学生（中学生〜大学院生。東京大学以外の学生も受講可能です）
※社会人学生も受講可能。ただし大学生と社会人学生の場合、学士以上の学位取得ができる学生が対象（科目履修生等は対象外）。
※受講希望者が多数の場合には、抽選を行います。
前提条件
・深層学習／Deep Learningの基礎知識を備え、基礎的な実装が自身でできること
・数学の理系学部レベルの線形代数、微分積分、確率論・統計学に関する知識を有すること
・Pythonでの数値解析の経験を有すること
・毎回の講義を確実に視聴、課題提出できること
・どんなに短くても、毎週3時間程度の自習時間は確保ができること
受講の仕組み
講義について
・本セミナーは、ライブ配信される講義映像を、各人が自宅等で視聴・演習していただく形式です。
・各講義日の14:00〜16:00（一部異なる開催時間の講義日あり）にライブ配信します。
・ライブ配信では、リアルタイムに質問を受け付けます。
・ライブ配信への参加方法など詳細については、受講が決定された方にご連絡いたします。
・本講座は公開講座であり、大学から単位は出ません。
・受講料はかかりません。
・講義日程・内容は変更になる場合がございます。
修了要件 ・受講が決定された方にのみお知らせいたします。（受講の手引きに記載いたします）
修了者へのベネフィット
・修了証（PDF）が発行されます。
・修了者にクローズドなコミュニティへご参加頂き、様々な交流イベント等のご案内をしていきます。
・データサイエンス/深層学習関連のイベント・勉強会や研究プロジェクトへのご案内をしていきます。(参加条件等あり。)
留意事項
受講可否メール等が迷惑メールフォルダに入ってしまう事例が多数発生しています。
下記
<@weblab.t.u-tokyo.ac.jp>と<@mail.edu.omnicamp.us>からのメールが「迷惑メールフォルダ」に
入らないように必ず設定をお願いします。
結果通知の日時を過ぎてもメールが届かない場合は、まず「迷惑メールフォルダ」の確認をお願いします。
上記を確認されても見当たらない場合は、お問い合わせフォームからご連絡ください。
ID登録締切│
2024年7月12日(金)
AM10時 ※終了しました
申込締切│
2024年7月16日(火)
AM10時 ※終了しました
※最初にID登録を行っていただき、その後、講座へ申し込みいただきます。
※既にID登録済の方は、マイページにログインください。
マイページへのログインはこちら（リンク）
よくある質問
・基本的にはいずれの講義もアーカイブ配信を行いますのでご受講は可能です。
・出席の提出締切まで（通常は講義から1週間以内）にご視聴の上、アンケートにご回答いただければ出席とカウントされます。
・ただし、一部講義の特定回（外部ゲストの講演等）は、アーカイブ配信をしない場合がありますので予めご了承ください。
全ての項目を正しく入力・チェックをされているでしょうか。
記入内容に不備がある場合、画面が変わらずお申し込みができません。
以下をご確認ください。
<学生の方>
（1）Gmailアドレス
→ドメインが@gmail.com以外のアドレスを入力されていないか
（メールアドレスの後に半角・全角の空白が入らないようご留意ください。）
（2）卒業予定年月日
→卒業済みでないか、また正しく入力できているか
（3）学生証などの入力を確認できる画像
→JPEG, JPG, PNGのいずれかの形式か
– TIFF形式（iPhoneの画像）は対応していません。
→画像2枚を提出しているか
（4）利用規約とプライバシーポリシー
→チェックを入れているか
（5）私は正規の学生です
（大学生と社会人学生の場合、学士の学位が取得できる方が対象となります。）
→チェックを入れているか
（6）すべての項目に入力漏れがないか
（7）過去にomnicampusで同一メールアドレスでご受講登録されたことがないか
→ご受講されたことがある場合は、上部にあるENTRY [マイページへのログイン（ID登録済の方）]からログインし受講申込ください。
不備がない状態でも解決しない場合、申し込み画面をリロードの上再度ご入力ください。
・お申し込みをしたメールアドレスの受信フォルダをご確認ください。
・迷惑メールフォルダに入っていないかをご確認ください。
・<＠weblab.t.u-tokyo.ac.jp> <@mail.edu.omnicamp.us>が迷惑メールに入らないよう設定をしていますか？まだの場合は設定をお願いします。
・上記3点をご確認いただいても届いていない場合は、メールアドレスを入力ミスされた可能性があります。[お問い合わせフォーム]（リンク）より運営に問い合わせてください。再登録依頼をご連絡します。
【受講可否のメール送信日の前】
・各講座のLPに受講可否のメール送信予定日を記載していますので、お待ちください。
・複数の講座に応募した場合、講座によって受講可否の通知タイミングが異なります。
【受講可否のメール送信日を過ぎている場合】
・お申し込みをしたメールアドレスの受信フォルダをご確認ください。
その他のよくある質問はこちら（リンク）
※お問い合わせフォームから受講の応募は受けつけておりません。
※募集締め切り後のご応募はお受けしておりません。
※回答にお時間をいただく場合がございます。ご了承ください。
申込
ID登録締切│
2024年7月12日(金)
AM10時 ※終了しました
申込締切│
2024年7月16日(火)
AM10時 ※終了しました
※最初にID登録を行っていただき、その後、講座へ申し込みいただきます。
※既にID登録済の方は、マイページにログインください。
マイページへのログインはこちら（リンク）