転移学習研究で汎用人工知能に挑む　特任助教熊谷さんインタビュー

Blog

過去に得た知識を応用する、「転移学習」の研究が進んでいます。
今回は、この領域を中心に研究を重ね、先日8月1日付で松尾研に特任助教として入職した熊谷 亘さんのインタビューをお届けします。
「転移学習とは、人間なら成長過程や日々の生活の中で当たり前に行っていること」と熊谷さん。少しずつ議論が進んでいる汎用型AIの中でも、なぜ転移学習に注目しているのか、話を聞きました。

「問題を解く」とはどういうことか？

学部では、数学を学んでいました。その中で、「問題を解くとはどういうことか」と考えるようになり、「人間より頭のいいものをつくればいいのでは」と思ったのが、人工知能に興味を持ったきっかけです。数学に限らずですが、人間より頭のいい人工知能をつくれれば、世の中の問題を全部解けるんじゃないか、と。

当時はそのための手法もよくわからなかったので、ひとまず基礎的な方向へ進もうと、修士でも数学を専攻しました。ただ、修士から博士へと進む中でもAIへの興味は薄れず、むしろ第三次ブームの盛り上がりもあって、博士課程の後半では機械学習を集中的に勉強していました。その後、いくつかのポジションを経てAI研究を深めてきました。

松尾研に参画したのは、日本屈指のAI研究室ということはもちろんですが、汎用型AIを研究するメンバーが多く所属していることが大きいです。

AI研究では、たとえば「AlphaGo（アルファ碁）」に代表される、特化型AIの分野が先行してきました。私が主に関心を持っている汎用型AIは、まだそこまで研究が進んでいないので、その情報交換ができるのは自分にとって大きなプラスです。ほかにも各自が幅広い研究を進めているので、発展が早いAI研究領域について、最新の成果を追いやすい点も魅力です。

 

過去に得た知識を応用する「転移学習」

主に研究しているのは、大きなテーマとしては「AIの汎用性」です。中でも「転移学習」に特に興味を持って研究しています。

転移学習とは、「過去に得た知識を現在の問題に応用する方法を学ぶ」分野です。これは、人間が成長する過程で自然におこなっていることです。
たとえば、掛け算は足し算の概念を応用しています。「2×3は、2が3つあること」と考えることで、掛け算の概念をつかめますよね。人間は知識や経験を一般化、あるいは概念化して、次の機会に応用できる知恵として役立てることができます。

もし、この転移学習ができないと、人間は生きていくのがすごく難しいはずです。同じように、応用が利く汎用的なAIをつくるには、転移学習の実装が不可欠だと考えています。

さらに、転移学習の発展的分野の「継続学習」についても研究しています。
記憶に関する機能に特に注目していて、こちらも汎用的なAIにおいて重要な分野です。得た情報を血肉化して、維持するようなモデルですね。一般的には、AIは万能のように思われていますが、記憶はすごく苦手で、新しいことを学習すると前の知識をすぐ忘却してしまうんです。
学んだことを蓄え、必要なときに取り出して使うのも、人間には当たり前でもAIには難しいことのひとつです。

 

「適当に」「よしなに」への対応をアルゴリズムにするには

少なくとも人間くらいの能力があるAIをつくるために、人間の”賢くなっていくプロセス”の中でいちばん重要そうなところはどこかと考えた結果、「過去の知識を積み上げて今に活かす」ことに思い至りました。

特化型AIなら、その分野なら高難易度の問題も解けますが、基本的な知識を積み上げて応用することをAIで実現するには、まだ道筋が立っていません。「散らかった部屋を適当に片づけておいて」とか、「このメールに、よしなに返信しておいて」といった指示を理解して適切に対応するのをアルゴリズムに落とすのは、極めて難しい。

そうしたことができる、転移学習が可能な汎用的なAIをつくれるまでには、まだ3合目くらいでしょうか。先が長いですが、たとえば一昨年に松尾先生が登壇されたカンファレンス（一般社団法人新経済連盟主催「新経済サミット 2018」（NEST2018）※）で転移学習が取り上げられるなど、注目は高まっています。

※参考：Biz/Zineセミナーレポート(2018)「東大 松尾氏、楽天 森氏、ABEJA 岡田氏らが語る、“ないない尽くし”の日本で注目すべき3つのAI技術」

具体的には、各病院をまたいで診療データを学ばせることで、汎用的に使えるモデルを作成するということができるかもしれません。

使える診療データが多ければ、ディープラーニングによって、一定の疾病を推測して診断するモデルの構築は可能です。ただ個別の病院だとデータ量が足りず、プライバシーの問題があるので病院をまたいだデータの持ち出しはできません。また、各病院も高齢者が多かったり小児科中心だったり、都心か地域かなどによっても患者さんにばらつきがあります。

そうした揺らぎの許容を含めて、各病院からデータは持ち出さずに知見だけを得て、次の病院に行くことを繰り返してだんだん賢くなる……というAIを転移学習で可能になると考えています。
考えてみれば、研修医が各病院で経験を積む過程もデータは持ち出さないので、転移学習をしているわけですよね。過去の例を信じすぎない、という点も重要だったりします。

 

知識や記憶を応用できるAIの構築に向けて

今後は、汎用的なAIに関する基礎理論を、より強固にしていきたいです。現在は汎用AIの構築に向けたさまざまな手法やアーキテクチャが提案されていますが、理論的に「なぜそれが知的に振舞うのか」「そもそも知性とは何か」といった部分の議論がまだ十分ではないと感じています。

「知性とは」という問いは、哲学的に議論する方向もありますし、個人的には興味がありますが、研究としては工学的に捉えて掘り下げていきます。「汎用的なAIを実際にプログラムして構築する」ために必要な要素を抽出して、工学的に再現することを目指します。

最近では「汎用人工知能研究会」が活性化したり、専門書の出版が相次いだりしています。人間のような知能や知性を持って応用が利くAI、というと、以前は夢物語のような印象を持たれていましたが、具体的な議論が進んできました。その流れの中で、転移学習や継続学習を深めていきたいです。

 

若手研究者やAI研究に興味がある学生へメッセージ

AI研究が扱う領域はとても広く、どんなバックグラウンドの方もやる気次第でまだまだ研究できる余地があります。私も博士課程までは異なる分野にいたので、今からも遅くありません。興味がある方は、ぜひ飛び込んでみてください。

【プロフィール】
熊谷 亘（くまがい・わたる）
学部と修士課程では数学を専攻。2013年 東北大学大学院 情報科学研究科 博士課程修了。名古屋大学 学振PD、神奈川大学 工学部 特任助教、理化学研究所 革新知能統合研究センターの研究員を経て、2020年8月に松尾研に特任助教として参画。

【松尾研主催DeepLearning勉強会】一年間の活動報告会

Blog

こんにちは、広報の清水です。

先日、DL輪読会とDLHacksのメンバーを中心に交流を深める活動報告会を開催しました。

DL輪読会とDLHacksは、互いの知識を深めることを目的に東京大学松尾研究室のメンバーが中心となって毎週持ち回りで発表をする勉強会です。（紹介記事はこちらから→DL輪読会・DLHacks）

  • 輪読会：Deep Learningに関する最新論文について発表。（毎週金曜9:00開催）
  • DLHacks：DeepLearningの実装力に焦点を当て、最新論文の実装やその他Tipsを共有。（毎週月曜19:00開催）

毎週の勉強会では発表の聴講がメインとなり中々メンバー同士がゆっくり話す機会がないため、近況報告や最近参加された方の自己紹介などで非常に盛り上がりました。

そして、前年に引き続き、活動報告を行いました。

日経クロストレンドの連載もご好評いただいており、現在第１０回まで掲載されています。

 

勉強会で発表されたスライドはスライドシェアやTwitterで共有されており、2018年7月〜2019年6月までの閲覧数をランキングで発表。※7月1日集計当時の数値となります。

スライドシェア閲覧数ランキング

Twitter imp数ランキング

ランキング上位の発表者を表彰しました。

３位　27,782 imp 岡田領さん（輪読会）

深層学習異常検知に関わる包括的かつ体型的なまとめ論文。
深層異常検知の各手法ごとの説明だけでなく、
現実世界の様々な領域に対しての異常検知の活用・研究状況や課題について言及されている。

２位　31,550 imp 鈴木雅大さん（輪読会）

DeepMindが提案したGenerative Query Network（GQN）について，深層生成モデル（VAE）の基礎から説明した．合わせて，複数のGQN系関連研究についても紹介し，GQNと世界モデルの関係についても説明した．

1位　62,911 imp 富山翔司さん（輪読会）

ニューラルネットの更新を微分方程式としてみるという全く新しい概念を提案。NeurIPSのベストペーパー。ここ最近読んだ中で一番面白かった論文（個人的感想）。

表彰者の方々へ、松尾先生からレッドブルの副賞が贈られました。

皆さん「今話題となっている論文をいち早く選ぶこと」が拡散される秘訣とコメントされていました。常に研究者にとって情報感度の高さも重要なことがわかりました。

先生からも最後「ここから活躍する人が生まれるように、いいコミュニティにしていきましょう」というお話で会は締めくくられました。

今後のイベントや勉強会情報などのお知らせは以下よりお受け取りください。

松尾研究室 Facebookページ　
Twitter

 

また来年の納会で、多くのDeep Learningを研究する学生さん達と集えるように運営側も努めて参ります。

DLオープン勉強会開催報告

Blog

こんにちは、広報の清水です。

先日の「DL輪読会・DLHacksオープン勉強会」開催の様子をお伝えします。

DL輪読会とDLHacksは、互いの知識を深めることを目的に東京大学松尾研究室のメンバーが中心となって毎週持ち回りで発表をする勉強会です。（紹介記事はこちらから→DL輪読会・DLHacks）

  • 輪読会：Deep Learningに関する最新論文について発表。（毎週金曜9:00開催）
  • DLHacks：DeepLearningの実装力に焦点を当て、最新論文の実装やその他Tipsを共有。（毎週月曜19:00開催）

通常は過去授業・講座の受講者か紹介のみでしか参加できませんが、 「授業や講座に参加したことがないけれど、とても興味ある」 「一度参加したけれどその後行きそびれてしまっている」 といった方向けに2018年度で人気の高かった内容を再度発表する場を設けたいとなったことがきっかけです。

イベント参加者はCompassにて募集しました。

募集開始時より沢山の方からご応募をいただき、急遽定員を90名から140名に増枠。
場所も倍の人数が入ることのできる講義室に変更しましたが、最終的には応募者数は400名を超え、多くの方がDeep Learingを学ぶことに意欲的であることを実感しました。
開催後となってしまいましたが、抽選で洩れてしまった方にはこのブログにて心からお詫びを申し上げます。今後のイベントの参考にして参ります。

DL輪読会、DLHacksからそれぞれ2名が発表しました。

DL輪読会

鈴木 雅大 東京大学 松尾研究室　「深層生成モデルと世界モデル」

【発表内容】

鈴木さんが中心となって開発した深層生成モデルライブラリ「Pixyz」に関しての記事はこちらからご覧ください。

初谷 怜慈 株式会社DeepX　「DeepLearningと曲がったパラメータ空間」

【発表内容】

DLHacks

鈴木 航介 京都大学　工学部物理工学科　「汎用言語表現モデルBERTの内部動作」

【発表内容】

平松 淳 筑波大学大学院　図書館情報メディア研究科「ニューラル固有表現抽出」

【発表内容】

参加者の声

「どれもトピックとして面白く、理論や研究よりの話からBERTなど応用よりの話まで幅広くて大変興味深かったです。」

「今まで一人で論文を読んで実装していたので、情報量が限られていたが多くの論文を知るきっかけとなった。」

「世界モデルに関して新しく学ぶことが多かったので、満足しました。文章生成に関しての発表が多く、画像生成のhackも知りたいなと思いました。」

「世界モデルの話やへシアンの話は，自分の研究室の輪読会などで話題に上ることがなかったので新鮮で面白かったです．学部3年生なのにBERTを動かしている学生がいることも驚きで刺激になりました．」

「実装のみではなく理論的な内容も盛り込まれており、地に足のついた会だったように感じた。発表者の方も、たとえ即答できない質問が飛んできても的確に回答して、非常に誠実さを感じた」

参加者の方々もPCでスライドをチェックしたり、検索で調べながら真剣に聞き入っていました。
満足度も97.8%という結果を頂き、また今後もこういった会を定期的に開催していければと思っております。
今後のイベントなどのお知らせは以下よりお受け取りください。

松尾研究室 Facebookページ　
Twitter

ご参加くださった皆さま、平日のお忙しい中ご参加いただきまして誠にありがとうございました。
次回は夏頃に開催予定です。どうぞお楽しみに！