前回に引き続き、今回はもう一つの松尾研が主体で運営している勉強会「DLHacks」についてご紹介したいと思います。
◼︎ DLHacks概要
前回の記事で紹介した「Deep Learning輪読会」が理論に焦点を当てているのに対して、「DLHacks」は、Deep Learningの実装に焦点を当てた勉強会です。
Deep Learningの研究では、「理論」だけ詳しければいいわけではなく、様々なアルゴリズムを実装する「実装力」が必要になります。「Deep Learningの勉強会は得てして論文共有会になりがちだが、Web開発の勉強会同様、実装に重きを置いた勉強会があってもいいのでは？」という思いから、2017年8月にDLHacksは立ち上げられました。毎週月曜19時に研究者・学生・社会人の有志が集まって行っており、これまでの開催数は50回を超えています。
活動内容としては、毎週持ち回りで2〜3名が、最新の論文の再現実装や実装時のTipsを共有する「実装発表」、フレームワークやライブラリなどの紹介を行う「ライトニングトーク」を行っています。
今までにDLHacksで実装されたレポジトリの中には、Githubで500スター以上のものやQiita・Slideshareで注目を集めたものがいくつもあります。
◼︎発表スライドのTwitter表示回数ランキング
輪読会で発表されたスライドは随時SlideShereにてアップされます。2018年半期の中でTwitterの表示回数が最も多かった発表をご紹介します。
※2019年1月22日までの「DL Hacks」Twitterアカウントより集計
5位 PyTorch, PixyzによるGenerative Query Networkの実装
発表者：谷口 尚平さん
DeepMindのGQNをPyTorch, Pixyzで再現。GQNを理解する上で重要となるDRAWのアルゴリズムの解説と画像生成モデルの実装上の注意点についてまとめた。実装はともにGitHubにて公開。https://t.co/UZykig8ga7https://t.co/ob7nEmx0kJhttps://t.co/gTwt0Oq31n
— DLHacks (@DL_Hacks) December 21, 2018
4位 CuPyのElementwiseKernelで楽にGPUの恩恵を受ける
発表者：大坪 篤史さん
Pythonコードの中で、GPUで並列化したい箇所だけをCUDAで記述できるCuPyのElementwiseKernelを紹介した。パッチのマッチングを題材に、コーディング例と速度比較も掲載した。https://t.co/MTYpqxTG1N
— DLHacks (@DL_Hacks) August 30, 2018
3位 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
発表者：鈴木 航介さん
汎用言語モデルBERTの内部動作観察結果の報告. 単語系列に対するAttention状況の可視化と, 潜在意味空間の可視化を行い, BERTの高性能たる所以の考察を行った. 多義語の解釈能力など興味深い結果が出ている.https://t.co/lskWSsjhFw
— DLHacks (@DL_Hacks) December 7, 2018
2位 Pytorch ver1.0への道
発表者：曽根岡 侑也さん
今夏リリース予定のPytorch v1.0の概要まとめ。直感的なAPIとのトレードオフで、プロダクションには不向きという弱点を、Caffe2とのマージで解決する模様。API自体は大きく変更しないとのこと。v0.4の変更点にも触れた。https://t.co/6sjMoYxY5B
— DLHacks (@DL_Hacks) September 4, 2018
1位 FPGA入門
発表者：上野 洋典さん
機械学習におけるFPGAの可能性を説明。C言語で記述したCNNのコードをFPGA化することで高速化を試みた。FPGAのインパクトの向上は、SW技術者も最低限のHWの知識が必要となることを示唆している。https://t.co/pViww9RFsy
— DLHacks (@DL_Hacks) July 17, 2018
◼︎参加者の声
東 耕平 東京大学 大学院 情報理工学系研究科 システム情報学専攻 中村・近藤研究室 修士課程2年
「最初は友人に誘われて DL Hacks に参加させていただきました。参加当初、自分はあまり実装経験が無く緊張していたのですが、みなさんの対応が優しく、最初の論文実装の発表を無事に終えることができました。この経験が自分にとって大きな一歩となり、のちの研究などに活かすことができたと思います。発表を通じ、論文の内容を頭で理解するだけでなく、手を動かして実装することの大切さを実感する機会をいただけたことに非常に感謝しております。」
大坪 篤史 東京大学工学部電子情報工学科卒業 医療機器開発系ベンチャー所属
「学部生の時に受講していたDeep Learning基礎講座で紹介を受け、社会人になった今もDLHacksに参加しています。DLHacksではDeap Learningに関する論文の技術を実装したり、公開されている実装を動かしたりしています。実際に手を動かし、結果についてあれこれ議論しているうちに、本や論文を読むだけでは得られない力が付いたと感じます。実装するのが好きな人におすすめです。」
◼︎ファシリテーター： 曽根岡 侑也さん
本勉強会を一昨年立ち上げ、毎回熱量高く取り仕切られています。当研究室の運営にも長く携わっているためメンバーにとって頼れる存在です。
【プロフィール】
2013年：東京大学工学部システム創成学科 卒業
2014年：IPA 未踏プロジェクト採択
2014年：クロードテック株式会社 創業
2017年：東京大学大学院工学系研究科技術経営戦略学専攻 修士課程修了
2017年：東京大学松尾研リサーチエンジニア（現職）
2018年：株式会社イライザ 創業
【研究内容】
Deep Learningを用いた需要予測・系列予測、自然言語処理
◼︎勉強会に参加されたい方へ
★3月22日「【東大松尾研】Deep Learning輪読会・DLHacks オープン勉強会」を開催します！
※こちら終了いたしました※
通常は過去授業・講座の受講者か紹介のみでしか参加できない勉強会ですが、 今回は「授業や講座に参加したことがないけれど、とても興味ある」 「一度参加したけれどその後行きそびれてしまっている」 といった方向けに2018年度で最も人気の高かった内容を再度発表いたします。
★定例勉強会について
Deep Learningの基礎を学習されている学生さん、実務で扱われている社会人の方で参加を希望される方はこちらよりお申し込みください。
https://goo.gl/forms/xN38kObmbQsA99j63
※定員の都合によりお申し込み後、書類審査となります。
