転移学習研究で汎用人工知能に挑む 特任助教熊谷さんインタビュー

過去に得た知識を応用する、「転移学習」の研究が進んでいます。
今回は、この領域を中心に研究を重ね、先日8月1日付で松尾研に特任助教として入職した熊谷 亘さんのインタビューをお届けします。
「転移学習とは、人間なら成長過程や日々の生活の中で当たり前に行っていること」と熊谷さん。少しずつ議論が進んでいる汎用型AIの中でも、なぜ転移学習に注目しているのか、話を聞きました。

問題を解く」とはどういうことか?

学部では、数学を学んでいました。その中で、「問題を解くとはどういうことか」と考えるようになり、「人間より頭のいいものをつくればいいのでは」と思ったのが、人工知能に興味を持ったきっかけです。数学に限らずですが、人間より頭のいい人工知能をつくれれば、世の中の問題を全部解けるんじゃないか、と。

当時はそのための手法もよくわからなかったので、ひとまず基礎的な方向へ進もうと、修士でも数学を専攻しました。ただ、修士から博士へと進む中でもAIへの興味は薄れず、むしろ第三次ブームの盛り上がりもあって、博士課程の後半では機械学習を集中的に勉強していました。その後、いくつかのポジションを経てAI研究を深めてきました。

松尾研に参画したのは、日本屈指のAI研究室ということはもちろんですが、汎用型AIを研究するメンバーが多く所属していることが大きいです。

AI研究では、たとえば「AlphaGo(アルファ碁)」に代表される、特化型AIの分野が先行してきました。私が主に関心を持っている汎用型AIは、まだそこまで研究が進んでいないので、その情報交換ができるのは自分にとって大きなプラスです。ほかにも各自が幅広い研究を進めているので、発展が早いAI研究領域について、最新の成果を追いやすい点も魅力です。

 

過去に得た知識を応用する「転移学習」

主に研究しているのは、大きなテーマとしては「AIの汎用性」です。中でも「転移学習」に特に興味を持って研究しています。

転移学習とは、「過去に得た知識を現在の問題に応用する方法を学ぶ」分野です。これは、人間が成長する過程で自然におこなっていることです。
たとえば、掛け算は足し算の概念を応用しています。「2×3は、2が3つあること」と考えることで、掛け算の概念をつかめますよね。人間は知識や経験を一般化、あるいは概念化して、次の機会に応用できる知恵として役立てることができます。

もし、この転移学習ができないと、人間は生きていくのがすごく難しいはずです。同じように、応用が利く汎用的なAIをつくるには、転移学習の実装が不可欠だと考えています。

さらに、転移学習の発展的分野の「継続学習」についても研究しています。
記憶に関する機能に特に注目していて、こちらも汎用的なAIにおいて重要な分野です。得た情報を血肉化して、維持するようなモデルですね。一般的には、AIは万能のように思われていますが、記憶はすごく苦手で、新しいことを学習すると前の知識をすぐ忘却してしまうんです。
学んだことを蓄え、必要なときに取り出して使うのも、人間には当たり前でもAIには難しいことのひとつです。

 

「適当に」「よしなに」への対応をアルゴリズムにするには

少なくとも人間くらいの能力があるAIをつくるために、人間の”賢くなっていくプロセス”の中でいちばん重要そうなところはどこかと考えた結果、「過去の知識を積み上げて今に活かす」ことに思い至りました。

特化型AIなら、その分野なら高難易度の問題も解けますが、基本的な知識を積み上げて応用することをAIで実現するには、まだ道筋が立っていません。「散らかった部屋を適当に片づけておいて」とか、「このメールに、よしなに返信しておいて」といった指示を理解して適切に対応するのをアルゴリズムに落とすのは、極めて難しい。

そうしたことができる、転移学習が可能な汎用的なAIをつくれるまでには、まだ3合目くらいでしょうか。先が長いですが、たとえば一昨年に松尾先生が登壇されたカンファレンス(一般社団法人新経済連盟主催「新経済サミット 2018」(NEST2018)※)で転移学習が取り上げられるなど、注目は高まっています。

※参考:Biz/Zineセミナーレポート(2018)「東大 松尾氏、楽天 森氏、ABEJA 岡田氏らが語る、“ないない尽くし”の日本で注目すべき3つのAI技術」

具体的には、各病院をまたいで診療データを学ばせることで、汎用的に使えるモデルを作成するということができるかもしれません。

使える診療データが多ければ、ディープラーニングによって、一定の疾病を推測して診断するモデルの構築は可能です。ただ個別の病院だとデータ量が足りず、プライバシーの問題があるので病院をまたいだデータの持ち出しはできません。また、各病院も高齢者が多かったり小児科中心だったり、都心か地域かなどによっても患者さんにばらつきがあります。

そうした揺らぎの許容を含めて、各病院からデータは持ち出さずに知見だけを得て、次の病院に行くことを繰り返してだんだん賢くなる……というAIを転移学習で可能になると考えています。
考えてみれば、研修医が各病院で経験を積む過程もデータは持ち出さないので、転移学習をしているわけですよね。過去の例を信じすぎない、という点も重要だったりします。

 

知識や記憶を応用できるAIの構築に向けて

今後は、汎用的なAIに関する基礎理論を、より強固にしていきたいです。現在は汎用AIの構築に向けたさまざまな手法やアーキテクチャが提案されていますが、理論的に「なぜそれが知的に振舞うのか」「そもそも知性とは何か」といった部分の議論がまだ十分ではないと感じています。

「知性とは」という問いは、哲学的に議論する方向もありますし、個人的には興味がありますが、研究としては工学的に捉えて掘り下げていきます。「汎用的なAIを実際にプログラムして構築する」ために必要な要素を抽出して、工学的に再現することを目指します。

最近では「汎用人工知能研究会」が活性化したり、専門書の出版が相次いだりしています。人間のような知能や知性を持って応用が利くAI、というと、以前は夢物語のような印象を持たれていましたが、具体的な議論が進んできました。その流れの中で、転移学習や継続学習を深めていきたいです。

 

若手研究者やAI研究に興味がある学生へメッセージ

AI研究が扱う領域はとても広く、どんなバックグラウンドの方もやる気次第でまだまだ研究できる余地があります。私も博士課程までは異なる分野にいたので、今からも遅くありません。興味がある方は、ぜひ飛び込んでみてください。

【プロフィール】
熊谷 亘(くまがい・わたる)
学部と修士課程では数学を専攻。2013年 東北大学大学院 情報科学研究科 博士課程修了。名古屋大学 学振PD、神奈川大学 工学部 特任助教、理化学研究所 革新知能統合研究センターの研究員を経て、2020年8月に松尾研に特任助教として参画。

【東大松尾研】2019年の活動報告

Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language. こんにちは、広報の清水です。 今年は平成から令和へと代わり、新たな時代の幕が開けました。 松尾研もこの一年、松尾を始めメンバーの活躍する場も増えて良いニュースが飛び交っていました。 そこで今年の振り返りとして、松尾研内外で話題となったトピックを改めてご紹介します。 1.新メンバージョイン 松尾研のメンバーも現在68名と大所帯になってきましたが、新たに頼もしいメンバーがジョインしました! 特任研究員 山川 宏 先生 プロフィール 1987年:東京理科大学理学部物理学科卒業 1989年:東京大学大学院 理学系研究科 物理学専攻 修士課程修了 1992年:東京大学大学院 工学系研究科 電子工学専攻 博士課程修了 1992年~2014年:(株)富士通研究所 1994年:同社から通産省リアル・ワールド・コンピューティング・プロジェクトに参加…

Job: Infrastructure Engineer

Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language.

「松尾研の研究を加速させるインフラエンジ二ア」募集!
メンバーたちが研究に集中する環境を整えるため、専任のインフラエンジニアを募集します。
松尾研にはインフラチームがあり、今までもサーバー環境の管理・監視を行ってきましたが、研究メンバーが増えており、更なる体制の強化が必要だと感じています。
新しい技術が好きな方、AI研究者たちとのコラボレーションに興味がある方、大規模なインフラ構築に興味がある方、ぜひ一度お話ししましょう!

詳しくはこちら

Job: Infrastructure Engineer

Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language.

「若手AI技術者や研究者が集まるコミュニティのマネージャー」を募集します。
私たちの研究室では基礎研究や授業の運営の他、Deep Leaningで世界に挑戦する若者の教育や育成にも力を入れています。
学内・学外の学生を対象に定例勉強会や交流会を開催し、今では学生だけでも100名を超えるコミュニティとなりつつあります。
「研究の道を突き進みたい」「起業したい」など学生の興味関心や特性に合わせて研究室内の様々なプロジェクトにつないだり、メンバー同士の更なる活性化を促すためのイベントや勉強会を開催できようなコミュニティマネージメントに興味のある方、ご応募お待ちしています。

詳しくはこちら

【松尾研主催DeepLearning勉強会】DL輪読会のご紹介

Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language. こんにちは、広報の清水です。 先日、DL輪読会とDLHacksのメンバーを中心に交流を深める活動報告会を開催しました。 DL輪読会とDLHacksは、互いの知識を深めることを目的に東京大学松尾研究室のメンバーが中心となって毎週持ち回りで発表をする勉強会です。(紹介記事はこちらから→DL輪読会・DLHacks) 輪読会:Deep Learningに関する最新論文について発表。(毎週金曜9:00開催) DLHacks:DeepLearningの実装力に焦点を当て、最新論文の実装やその他Tipsを共有。(毎週月曜19:00開催) 毎週の勉強会では発表の聴講がメインとなり中々メンバー同士がゆっくり話す機会がないため、近況報告や最近参加された方の自己紹介などで非常に盛り上がりました。 そして、前年に引き続き、活動報告を行いました。 日経クロストレンドの連載もご好評いただいており、現在第10回まで掲載されています。   勉強会で発表されたスライドはスライドシェアやTwitterで共有されており、2018年7月〜2019年6月までの閲覧数をランキングで発表。※7月1日集計当時の数値となります。 スライドシェア閲覧数ランキング Twitter imp数ランキング ランキング上位の発表者を表彰しました。 3位 27,782 imp 岡田領さん(輪読会) 深層学習異常検知に関わる包括的かつ体型的なまとめ論文。 深層異常検知の各手法ごとの説明だけでなく、 現実世界の様々な領域に対しての異常検知の活用・研究状況や課題について言及されている。 2位 31,550 imp 鈴木雅大さん(輪読会)…

The exercise contents of DeepLearning Basics are now available for free.

Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language. こんにちは、広報の清水です。 松尾研究室で、2019年3月にイギリスの人工知能・ロボットに関わる研究機関や企業を訪問する海外研修を実施しました。 今回は、その研修の様子をお伝えします。   【行程】—————————————————- 3月11日 ロンドン Lloyd’s of London・JR東海ロンドン事務所・JETRO訪問 3月12日 オックスフォード・ロンドン オックスフォード大学見学・Oxford University Innovation・SMAP Energy社訪問 3月13日 ロンドン Imperial College London Robot…

【松尾研主催DeepLearning勉強会】DL輪読会のご紹介

Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language. こんにちは、広報の清水です。 先日の「DL輪読会・DLHacksオープン勉強会」開催の様子をお伝えします。 DL輪読会とDLHacksは、互いの知識を深めることを目的に東京大学松尾研究室のメンバーが中心となって毎週持ち回りで発表をする勉強会です。(紹介記事はこちらから→DL輪読会・DLHacks) 輪読会:Deep Learningに関する最新論文について発表。(毎週金曜9:00開催) DLHacks:DeepLearningの実装力に焦点を当て、最新論文の実装やその他Tipsを共有。(毎週月曜19:00開催) 通常は過去授業・講座の受講者か紹介のみでしか参加できませんが、 「授業や講座に参加したことがないけれど、とても興味ある」 「一度参加したけれどその後行きそびれてしまっている」 といった方向けに2018年度で人気の高かった内容を再度発表する場を設けたいとなったことがきっかけです。 イベント参加者はCompassにて募集しました。 募集開始時より沢山の方からご応募をいただき、急遽定員を90名から140名に増枠。 場所も倍の人数が入ることのできる講義室に変更しましたが、最終的には応募者数は400名を超え、多くの方がDeep Learingを学ぶことに意欲的であることを実感しました。 開催後となってしまいましたが、抽選で洩れてしまった方にはこのブログにて心からお詫びを申し上げます。今後のイベントの参考にして参ります。 DL輪読会、DLHacksからそれぞれ2名が発表しました。 DL輪読会 鈴木 雅大 東京大学 松尾研究室 「深層生成モデルと世界モデル」 【発表内容】 鈴木さんが中心となって開発した深層生成モデルライブラリ「Pixyz」に関しての記事はこちらからご覧ください。…

【松尾研主催DeepLearning勉強会】DL輪読会のご紹介

Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language. 人工知能研究において画像や文書,音楽などを生成する「生成モデル」に注目が集まる中、昨年秋に公開された深層生成モデル実装用ライブラリPixyz。 今回は、中心になって開発した松尾研研究員の鈴木雅大さんにPixyzについてお話を伺いしました。 昔から「ロボットの頭脳を人工知能によって実現したい」という夢があり、大学3年生の時に機械学習と出会いました。 そして、北海道大学の情報系の学科を卒業し、博士1年で松尾研に所属しました。 当時、深層学習(Deep Learning)が今ほど注目を集めていない時期から深層学習が大きな可能性を秘めていると仰っていた松尾先生に共感を抱いたのが松尾研を志望したきっかけでした。 現在は松尾研の研究員としてマルチモーダル学習と深層生成モデルの研究を進める他に、DeepLearning基礎講座を始め教育に関わることも多いです。 ※マルチモーダル学習とは・・・複数種類のデータを入力とし、統合的に処理する機械学習。 「Pixyz」とは Pixyzは深層学習の中でも「深層生成モデル」と呼ばれる枠組みを簡単かつ汎用的に実装するためのライブラリです。 深層生成モデルは生成モデルを深層ニューラルネットワークで構成したものなので、まずは生成モデルの説明をします。 生成モデルとは,簡単にいうと「今あるデータがどのようにできたのだろうか?」ということに着目し、それ(データの生成過程)をモデル化しようという枠組みです。これまでの深層学習研究の多くは、データを「分けること」に着目してきた訳ですが、生成モデルはそれとは対照的なアプローチです。 生成モデルをデータから適切に学習できれば、本物のデータとよく似た新しいデータを「生成」することができます。また生成モデルは学習したデータの生成過程を分かっているので、「異常検出」や「ノイズ除去」といったことも可能になります。 生成モデルは通常確率モデルとして設計されるのですが、最近ではこの確率モデルとして深層ニューラルネットワークが使われるようになっており、ネットワークの表現力のおかげで、より高次元かつ大規模なデータを学習できるようになりました。これが深層生成モデルです。 Pixyzの公開前は、利用する人は非常に限定的だと思っていたので、そこまで反響があるとは思っていませんでした。しかし、Twitterで告知後に想定以上の反響をいただき、大変驚きました。 PyTorchベースの深層生成モデル実装用ライブラリ「pixyz」を公開しました.https://t.co/1Icd6xpxAI「様々な深層生成モデルを統一的に記述できる」「数式から簡単に実装に落としこめる」ことを目標に開発を進めてきました.pixyzにはこれらを実現する独自の機能がありますので,是非ご覧ください. — masa (@szk_masa) November 11, 2018…