転移学習研究で汎用人工知能に挑む 特任助教熊谷さんインタビュー

過去に得た知識を応用する、「転移学習」の研究が進んでいます。
今回は、この領域を中心に研究を重ね、先日8月1日付で松尾研に特任助教として入職した熊谷 亘さんのインタビューをお届けします。
「転移学習とは、人間なら成長過程や日々の生活の中で当たり前に行っていること」と熊谷さん。少しずつ議論が進んでいる汎用型AIの中でも、なぜ転移学習に注目しているのか、話を聞きました。

問題を解く」とはどういうことか?

学部では、数学を学んでいました。その中で、「問題を解くとはどういうことか」と考えるようになり、「人間より頭のいいものをつくればいいのでは」と思ったのが、人工知能に興味を持ったきっかけです。数学に限らずですが、人間より頭のいい人工知能をつくれれば、世の中の問題を全部解けるんじゃないか、と。

当時はそのための手法もよくわからなかったので、ひとまず基礎的な方向へ進もうと、修士でも数学を専攻しました。ただ、修士から博士へと進む中でもAIへの興味は薄れず、むしろ第三次ブームの盛り上がりもあって、博士課程の後半では機械学習を集中的に勉強していました。その後、いくつかのポジションを経てAI研究を深めてきました。

松尾研に参画したのは、日本屈指のAI研究室ということはもちろんですが、汎用型AIを研究するメンバーが多く所属していることが大きいです。

AI研究では、たとえば「AlphaGo(アルファ碁)」に代表される、特化型AIの分野が先行してきました。私が主に関心を持っている汎用型AIは、まだそこまで研究が進んでいないので、その情報交換ができるのは自分にとって大きなプラスです。ほかにも各自が幅広い研究を進めているので、発展が早いAI研究領域について、最新の成果を追いやすい点も魅力です。

 

過去に得た知識を応用する「転移学習」

主に研究しているのは、大きなテーマとしては「AIの汎用性」です。中でも「転移学習」に特に興味を持って研究しています。

転移学習とは、「過去に得た知識を現在の問題に応用する方法を学ぶ」分野です。これは、人間が成長する過程で自然におこなっていることです。
たとえば、掛け算は足し算の概念を応用しています。「2×3は、2が3つあること」と考えることで、掛け算の概念をつかめますよね。人間は知識や経験を一般化、あるいは概念化して、次の機会に応用できる知恵として役立てることができます。

もし、この転移学習ができないと、人間は生きていくのがすごく難しいはずです。同じように、応用が利く汎用的なAIをつくるには、転移学習の実装が不可欠だと考えています。

さらに、転移学習の発展的分野の「継続学習」についても研究しています。
記憶に関する機能に特に注目していて、こちらも汎用的なAIにおいて重要な分野です。得た情報を血肉化して、維持するようなモデルですね。一般的には、AIは万能のように思われていますが、記憶はすごく苦手で、新しいことを学習すると前の知識をすぐ忘却してしまうんです。
学んだことを蓄え、必要なときに取り出して使うのも、人間には当たり前でもAIには難しいことのひとつです。

 

「適当に」「よしなに」への対応をアルゴリズムにするには

少なくとも人間くらいの能力があるAIをつくるために、人間の”賢くなっていくプロセス”の中でいちばん重要そうなところはどこかと考えた結果、「過去の知識を積み上げて今に活かす」ことに思い至りました。

特化型AIなら、その分野なら高難易度の問題も解けますが、基本的な知識を積み上げて応用することをAIで実現するには、まだ道筋が立っていません。「散らかった部屋を適当に片づけておいて」とか、「このメールに、よしなに返信しておいて」といった指示を理解して適切に対応するのをアルゴリズムに落とすのは、極めて難しい。

そうしたことができる、転移学習が可能な汎用的なAIをつくれるまでには、まだ3合目くらいでしょうか。先が長いですが、たとえば一昨年に松尾先生が登壇されたカンファレンス(一般社団法人新経済連盟主催「新経済サミット 2018」(NEST2018)※)で転移学習が取り上げられるなど、注目は高まっています。

※参考:Biz/Zineセミナーレポート(2018)「東大 松尾氏、楽天 森氏、ABEJA 岡田氏らが語る、“ないない尽くし”の日本で注目すべき3つのAI技術」

具体的には、各病院をまたいで診療データを学ばせることで、汎用的に使えるモデルを作成するということができるかもしれません。

使える診療データが多ければ、ディープラーニングによって、一定の疾病を推測して診断するモデルの構築は可能です。ただ個別の病院だとデータ量が足りず、プライバシーの問題があるので病院をまたいだデータの持ち出しはできません。また、各病院も高齢者が多かったり小児科中心だったり、都心か地域かなどによっても患者さんにばらつきがあります。

そうした揺らぎの許容を含めて、各病院からデータは持ち出さずに知見だけを得て、次の病院に行くことを繰り返してだんだん賢くなる……というAIを転移学習で可能になると考えています。
考えてみれば、研修医が各病院で経験を積む過程もデータは持ち出さないので、転移学習をしているわけですよね。過去の例を信じすぎない、という点も重要だったりします。

 

知識や記憶を応用できるAIの構築に向けて

今後は、汎用的なAIに関する基礎理論を、より強固にしていきたいです。現在は汎用AIの構築に向けたさまざまな手法やアーキテクチャが提案されていますが、理論的に「なぜそれが知的に振舞うのか」「そもそも知性とは何か」といった部分の議論がまだ十分ではないと感じています。

「知性とは」という問いは、哲学的に議論する方向もありますし、個人的には興味がありますが、研究としては工学的に捉えて掘り下げていきます。「汎用的なAIを実際にプログラムして構築する」ために必要な要素を抽出して、工学的に再現することを目指します。

最近では「汎用人工知能研究会」が活性化したり、専門書の出版が相次いだりしています。人間のような知能や知性を持って応用が利くAI、というと、以前は夢物語のような印象を持たれていましたが、具体的な議論が進んできました。その流れの中で、転移学習や継続学習を深めていきたいです。

 

若手研究者やAI研究に興味がある学生へメッセージ

AI研究が扱う領域はとても広く、どんなバックグラウンドの方もやる気次第でまだまだ研究できる余地があります。私も博士課程までは異なる分野にいたので、今からも遅くありません。興味がある方は、ぜひ飛び込んでみてください。

【プロフィール】
熊谷 亘(くまがい・わたる)
学部と修士課程では数学を専攻。2013年 東北大学大学院 情報科学研究科 博士課程修了。名古屋大学 学振PD、神奈川大学 工学部 特任助教、理化学研究所 革新知能統合研究センターの研究員を経て、2020年8月に松尾研に特任助教として参画。

2019年データサイエンス講座(オンライン&駒場)募集開始

松尾研究室では、2019年12月に、1)東京大学駒場キャンパス在学生、2)一般学生および社会人を対象とした、データサイエンティスト育成講座を開講します。

本コースは主に大学生、社会人技術者やマーケティング担当者、情報分野以外の研究者等を対象者と想定し設計されていますが、幅広い分野で役に立つ実践的なデータサイエンスを網羅的にカバーしているため、データサイエンスを身に付けたい幅広い層に活用いただけるものとなっています。

 

募集

応募期間:本日〜12月11日(水)

こちらのフォームよりお申し込みください。

 募集期間  〜12月11日(水)
 ウェブテスト  12月7日(土)〜12月12日(木)
 受講決定通知  12月15日(日)予定
 初回講義/配信  12月18日(水)

 

今期の特徴

  • 東大生向けオフライン授業と、一般向けオンライン講座を同期して実施します。具体的には以下の項目を共通とします。
    • コンペ(期間中にKaggle形式のコンペを3回実施予定です。)
    • コミュニティ(受講生同士の交流、議論や疑問の解決を推奨します。)
    • 修了者イベント
  • 初学者向けのチュートリアルの充実
    • プログラミングに不慣れな方にサポートの手段、機会を提供します。

 

講座詳細

カリキュラムやスケジュールについてはウェブサイトよりご確認ください。
https://gci.t.u-tokyo.ac.jp/

Job: インフラエンジニア

「松尾研の研究を加速させるインフラエンジ二ア」募集!
メンバーたちが研究に集中する環境を整えるため、専任のインフラエンジニアを募集します。
松尾研にはインフラチームがあり、今までもサーバー環境の管理・監視を行ってきましたが、研究メンバーが増えており、更なる体制の強化が必要だと感じています。
新しい技術が好きな方、AI研究者たちとのコラボレーションに興味がある方、大規模なインフラ構築に興味がある方、ぜひ一度お話ししましょう!

詳しくはこちら

Job: コミュニティマネージャー

「若手AI技術者や研究者が集まるコミュニティのマネージャー」を募集します。
私たちの研究室では基礎研究や授業の運営の他、Deep Leaningで世界に挑戦する若者の教育や育成にも力を入れています。
学内・学外の学生を対象に定例勉強会や交流会を開催し、今では学生だけでも100名を超えるコミュニティとなりつつあります。
「研究の道を突き進みたい」「起業したい」など学生の興味関心や特性に合わせて研究室内の様々なプロジェクトにつないだり、メンバー同士の更なる活性化を促すためのイベントや勉強会を開催できようなコミュニティマネージメントに興味のある方、ご応募お待ちしています。

詳しくはこちら

【松尾研主催DeepLearning勉強会】一年間の活動報告会

こんにちは、広報の清水です。

先日、DL輪読会とDLHacksのメンバーを中心に交流を深める活動報告会を開催しました。

DL輪読会とDLHacksは、互いの知識を深めることを目的に東京大学松尾研究室のメンバーが中心となって毎週持ち回りで発表をする勉強会です。(紹介記事はこちらから→DL輪読会DLHacks

  • 輪読会:Deep Learningに関する最新論文について発表。(毎週金曜9:00開催)
  • DLHacks:DeepLearningの実装力に焦点を当て、最新論文の実装やその他Tipsを共有。(毎週月曜19:00開催)

毎週の勉強会では発表の聴講がメインとなり中々メンバー同士がゆっくり話す機会がないため、近況報告や最近参加された方の自己紹介などで非常に盛り上がりました。

そして、前年に引き続き、活動報告を行いました。

日経クロストレンドの連載もご好評いただいており、現在第10回まで掲載されています。

 

勉強会で発表されたスライドはスライドシェアTwitterで共有されており、2018年7月〜2019年6月までの閲覧数をランキングで発表。※7月1日集計当時の数値となります。

スライドシェア閲覧数ランキング

Twitter imp数ランキング

ランキング上位の発表者を表彰しました。

3位 27,782 imp 岡田領さん(輪読会)

深層学習異常検知に関わる包括的かつ体型的なまとめ論文。
深層異常検知の各手法ごとの説明だけでなく、
現実世界の様々な領域に対しての異常検知の活用・研究状況や課題について言及されている。

2位 31,550 imp 鈴木雅大さん(輪読会)

DeepMindが提案したGenerative Query Network(GQN)について,深層生成モデル(VAE)の基礎から説明した.合わせて,複数のGQN系関連研究についても紹介し,GQNと世界モデルの関係についても説明した.

1位 62,911 imp 富山翔司さん(輪読会)

ニューラルネットの更新を微分方程式としてみるという全く新しい概念を提案。NeurIPSのベストペーパー。ここ最近読んだ中で一番面白かった論文(個人的感想)。

表彰者の方々へ、松尾先生からレッドブルの副賞が贈られました。

皆さん「今話題となっている論文をいち早く選ぶこと」が拡散される秘訣とコメントされていました。常に研究者にとって情報感度の高さも重要なことがわかりました。

先生からも最後「ここから活躍する人が生まれるように、いいコミュニティにしていきましょう」というお話で会は締めくくられました。

今後のイベントや勉強会情報などのお知らせは以下よりお受け取りください。

松尾研究室 Facebookページ 
Twitter

 

また来年の納会で、多くのDeep Learningを研究する学生さん達と集えるように運営側も努めて参ります。