English
こんにちは、広報の清水です。
先日の「DL輪読会・DLHacksオープン勉強会」開催の様子をお伝えします。
DL輪読会とDLHacksは、互いの知識を深めることを目的に東京大学松尾研究室のメンバーが中心となって毎週持ち回りで発表をする勉強会です。（紹介記事はこちらから→DL輪読会・DLHacks）
- 輪読会：Deep Learningに関する最新論文について発表。（毎週金曜9:00開催）
- DLHacks：DeepLearningの実装力に焦点を当て、最新論文の実装やその他Tipsを共有。（毎週月曜19:00開催）
通常は過去授業・講座の受講者か紹介のみでしか参加できませんが、 「授業や講座に参加したことがないけれど、とても興味ある」 「一度参加したけれどその後行きそびれてしまっている」 といった方向けに2018年度で人気の高かった内容を再度発表する場を設けたいとなったことがきっかけです。
イベント参加者はCompassにて募集しました。
募集開始時より沢山の方からご応募をいただき、急遽定員を90名から140名に増枠。
場所も倍の人数が入ることのできる講義室に変更しましたが、最終的には応募者数は400名を超え、多くの方がDeep Learingを学ぶことに意欲的であることを実感しました。
開催後となってしまいましたが、抽選で洩れてしまった方にはこのブログにて心からお詫びを申し上げます。今後のイベントの参考にして参ります。
DL輪読会、DLHacksからそれぞれ2名が発表しました。
DL輪読会
鈴木 雅大 東京大学 松尾研究室 「深層生成モデルと世界モデル」
【発表内容】
DeepMindが提案したGenerative Query Network（GQN）について，深層生成モデル（VAE）の基礎から説明した．合わせて，複数のGQN系関連研究についても紹介し，GQNと世界モデルの関係についても説明した． https://t.co/3Qlfzn1YCJ
— DLHacks (@DL_Hacks) August 27, 2018
鈴木さんが中心となって開発した深層生成モデルライブラリ「Pixyz」に関しての記事はこちらからご覧ください。
初谷 怜慈 株式会社DeepX 「DeepLearningと曲がったパラメータ空間」
【発表内容】
深層学習ではパラメータ空間が曲がっている.その性質は最適化,ベイズNN,破滅的忘却,pruning,影響関数などの様々な分野で応用されている.これら応用に加えヘッシアンやフィッシャー情報行列の高速な近似計算方法について多数紹介https://t.co/kxwnP0LrXO
— DLHacks (@DL_Hacks) April 27, 2018
DLHacks
鈴木 航介 京都大学 工学部物理工学科 「汎用言語表現モデルBERTの内部動作」
【発表内容】
汎用言語モデルBERTの内部動作観察結果の報告. 単語系列に対するAttention状況の可視化と, 潜在意味空間の可視化を行い, BERTの高性能たる所以の考察を行った. 多義語の解釈能力など興味深い結果が出ている.https://t.co/lskWSsjhFw
— DLHacks (@DL_Hacks) December 7, 2018
平松 淳 筑波大学大学院 図書館情報メディア研究科「ニューラル固有表現抽出」
【発表内容】
BiLSTMとCRFを用いたニューラル固有表現抽出器の解説．
再現実装を行い，ツールを公開 (https://t.co/JaloCpwgTE)．
特徴量や前処理，勾配クリッピングの有効/無効などの設定を変えて実験を行った．https://t.co/OsGmjElHTc— DLHacks (@DL_Hacks) December 20, 2018
参加者の声
「どれもトピックとして面白く、理論や研究よりの話からBERTなど応用よりの話まで幅広くて大変興味深かったです。」
「今まで一人で論文を読んで実装していたので、情報量が限られていたが多くの論文を知るきっかけとなった。」
「世界モデルに関して新しく学ぶことが多かったので、満足しました。文章生成に関しての発表が多く、画像生成のhackも知りたいなと思いました。」
「世界モデルの話やへシアンの話は，自分の研究室の輪読会などで話題に上ることがなかったので新鮮で面白かったです．学部3年生なのにBERTを動かしている学生がいることも驚きで刺激になりました．」
「実装のみではなく理論的な内容も盛り込まれており、地に足のついた会だったように感じた。発表者の方も、たとえ即答できない質問が飛んできても的確に回答して、非常に誠実さを感じた」
参加者の方々もPCでスライドをチェックしたり、検索で調べながら真剣に聞き入っていました。
満足度も97.8%という結果を頂き、また今後もこういった会を定期的に開催していければと思っております。
今後のイベントなどのお知らせは以下よりお受け取りください。
ご参加くださった皆さま、平日のお忙しい中ご参加いただきまして誠にありがとうございました。
次回は夏頃に開催予定です。どうぞお楽しみに！
