How to use think-cell

think-cell is a presentation software that integrates with PowerPoint and Excel seamlessly to help you visualize complex data using charts. The software is available for free to students, staff and faculty members of Matsuo Lab, UT by downloading and installing it on your personal computer. think-cell – used by most consulting firms – might save…

【松尾研主催Deep Learning 輪読会】記念すべき第256回が開催

Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language. DeepLearningの最新論文をキャッチアップする勉強会「DL輪読会」。 その記念すべき第256回目(2の8乗回)が先月開催されました。(写真は2019年以前のオフライン開催のもの) 今日はDL輪読会の活動についてご紹介します!   ◼︎DL輪読会とは DL輪読会では、毎週金曜日の朝10時から、Deep Learningに関する論文を紹介発表しています。2014年に開始し、活動としては6年以上続いています。 紹介する論文は毎回持ち回りで2〜3名が担当し、参加者自身が興味関心のあるものを自由に選ぶことができます。 参加者は学生だけでなく、大手企業やベンチャーに在籍されている社会人もいます。業務でDeep Learningに携わる方や、学生時代に関連の研究をされていて社会人になっても勉強を続けたい方など様々です。 そのため毎回多様な視点からの質疑応答が飛び交い、積極的に参加くださっています。 2020年はオンライン開催となったため、全国の講座修了生の方にも参加いただけました。   ◼︎発表スライドのTwitter表示回数ランキング 輪読会で発表されたスライドは随時SlideShereにてアップされます。2020年中で表示回数が最も多かった発表をご紹介します。 ※2020年1月〜12月21日までの「DL Hacks」Twitterアカウントより集計 5位 What do Models Learn from…

Our paper was accepted for ICLR2021.

Our paper was accepted for presentation at ICLR2021. 【Information】Tatsuya Matsushima, Hiroki Furuta, Yutaka Matsuo, Ofir Nachum, and Shixiang Shane Gu. “Deployment-Efficient Reinforcement Learning via Model-Based Offline Optimization”, International Conference on Learning Representations 2021 (ICLR2021). May 2021. 【Overview】Most reinforcement learning (RL) algorithms assume online access to the environment, in which one may readily interleave updates to…

Our paper was accepted for ICLR2021.

Our paper was accepted for presentation at ICLR2021. 【Information】Makoto Kawano, Wataru Kumagai, Akiyoshi Sannai, Yusuke Iwasawa, and Yutaka Matsuo. “Group Equivariant Conditional Neural Processes”, International Conference on Learning Representations 2021 (ICLR2021). May 2021. 【Overview】We present the group equivariant conditional neural process (EquivCNP), a meta-learning method with permutation invariance in a data set as in conventional…

【東大松尾研】2020年の活動報告

Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language. こんにちは、松尾研 広報チームです。 激動の2020年もまもなく終わり。 松尾研にとって2020年は、ポジティブな変化が多かった年となりました。 本日は、研究室内外で話題になった2020年のトピックスを改めてご紹介します!   1.基礎研究チームの増強 今年は3名の基礎研究メンバーが、松尾研に新しく参画しました。 松尾先生が所属する人工物工学研究センターに特任教授として就任された丸山宏先生との交流の開始や、ロボット3機のジョインなどもあり、ますます賑やかな組織になりました。 また8月には、特任研究員だった鈴木雅大さんが特任助教に就任、12月には、特任助教の岩澤有祐さんが特任講師に就任するなど、1年を通しておめでたいニュースが続きました! 新研究メンバーのご紹介 特任助教 熊谷亘さん プロフィール 2013年 東北大学大学院 情報科学研究科 博士課程修了(学振DC1) 2013年9月-2014年3月 名古屋大学 学振PD 2014年4月-2017年3月…

Stabilizing Adversarial Invariance Induction from Divergence Minimization Perspective (IJCAI2020)

Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language. 国際人工知能会議(IJCAI2020)にて、このほど当研究室の論文 「Stabilizing Adversarial Invariance Induction from Divergence Minimization Perspective」(分布マッチングの観点からみた敵対的不変表現学習の安定化) が採択されました。 著者:岩澤有祐、阿久澤圭、松尾豊 論文リンク:https://www.ijcai.org/Proceedings/2020/271 主な著者である松尾研究室 特任助教 岩澤さんより、 論文の概要や採択までのエピソードについて解説してもらいました。 敵対的学習を用いた不変表現学習 今回の研究は、「不変表現学習」についてです。 表現の不変性とは、ある表現が特定の因子に対して独立であることを指す概念です。 不変性が重要な例として、監視カメラの動画から不審行動を検知するシステムを考えてみます。このシステムが、もし背丈などの身体的特徴に依存した予測をしていると、身体的特徴によって予測精度が大きくぶれる(ある特定のユーザ群にはうまく働くが,他のユーザ群にはうまく働かない)といった問題を引き起こす可能性があります。実際にシステムを活用する多くの場面では、未知のユーザに対してもうまく働くことが期待されるため、このような予測のぶれを防ぐために身体的特徴に依存しない情報(表現)を活用した判断をする必要があります。 あるいは、たとえば肌が黒い人がいるという情報を抽出し、それを判断の基準に利用することは、社会通念上問題になる場合があります。公平性の観点から、検知システムは肌の色に依存しないことが求められます。 しかし、表現学習の手法として近年よく使われる深層ニューラルネットワーク(以下、DNN)は、獲得した表現が、このように特定の因子に対し独立である(不変性を持つ)とは限りません。このような制約を、明示的にDNNの学習に組み込む技術が、「不変表現学習」と呼ばれる技術です。…

転移学習研究で汎用人工知能に挑む 特任助教熊谷さんインタビュー

過去に得た知識を応用する、「転移学習」の研究が進んでいます。
今回は、この領域を中心に研究を重ね、先日8月1日付で松尾研に特任助教として入職した熊谷 亘さんのインタビューをお届けします。
「転移学習とは、人間なら成長過程や日々の生活の中で当たり前に行っていること」と熊谷さん。少しずつ議論が進んでいる汎用型AIの中でも、なぜ転移学習に注目しているのか、話を聞きました。

問題を解く」とはどういうことか?

学部では、数学を学んでいました。その中で、「問題を解くとはどういうことか」と考えるようになり、「人間より頭のいいものをつくればいいのでは」と思ったのが、人工知能に興味を持ったきっかけです。数学に限らずですが、人間より頭のいい人工知能をつくれれば、世の中の問題を全部解けるんじゃないか、と。

当時はそのための手法もよくわからなかったので、ひとまず基礎的な方向へ進もうと、修士でも数学を専攻しました。ただ、修士から博士へと進む中でもAIへの興味は薄れず、むしろ第三次ブームの盛り上がりもあって、博士課程の後半では機械学習を集中的に勉強していました。その後、いくつかのポジションを経てAI研究を深めてきました。

松尾研に参画したのは、日本屈指のAI研究室ということはもちろんですが、汎用型AIを研究するメンバーが多く所属していることが大きいです。

AI研究では、たとえば「AlphaGo(アルファ碁)」に代表される、特化型AIの分野が先行してきました。私が主に関心を持っている汎用型AIは、まだそこまで研究が進んでいないので、その情報交換ができるのは自分にとって大きなプラスです。ほかにも各自が幅広い研究を進めているので、発展が早いAI研究領域について、最新の成果を追いやすい点も魅力です。

 

過去に得た知識を応用する「転移学習」

主に研究しているのは、大きなテーマとしては「AIの汎用性」です。中でも「転移学習」に特に興味を持って研究しています。

転移学習とは、「過去に得た知識を現在の問題に応用する方法を学ぶ」分野です。これは、人間が成長する過程で自然におこなっていることです。
たとえば、掛け算は足し算の概念を応用しています。「2×3は、2が3つあること」と考えることで、掛け算の概念をつかめますよね。人間は知識や経験を一般化、あるいは概念化して、次の機会に応用できる知恵として役立てることができます。

もし、この転移学習ができないと、人間は生きていくのがすごく難しいはずです。同じように、応用が利く汎用的なAIをつくるには、転移学習の実装が不可欠だと考えています。

さらに、転移学習の発展的分野の「継続学習」についても研究しています。
記憶に関する機能に特に注目していて、こちらも汎用的なAIにおいて重要な分野です。得た情報を血肉化して、維持するようなモデルですね。一般的には、AIは万能のように思われていますが、記憶はすごく苦手で、新しいことを学習すると前の知識をすぐ忘却してしまうんです。
学んだことを蓄え、必要なときに取り出して使うのも、人間には当たり前でもAIには難しいことのひとつです。

 

「適当に」「よしなに」への対応をアルゴリズムにするには

少なくとも人間くらいの能力があるAIをつくるために、人間の”賢くなっていくプロセス”の中でいちばん重要そうなところはどこかと考えた結果、「過去の知識を積み上げて今に活かす」ことに思い至りました。

特化型AIなら、その分野なら高難易度の問題も解けますが、基本的な知識を積み上げて応用することをAIで実現するには、まだ道筋が立っていません。「散らかった部屋を適当に片づけておいて」とか、「このメールに、よしなに返信しておいて」といった指示を理解して適切に対応するのをアルゴリズムに落とすのは、極めて難しい。

そうしたことができる、転移学習が可能な汎用的なAIをつくれるまでには、まだ3合目くらいでしょうか。先が長いですが、たとえば一昨年に松尾先生が登壇されたカンファレンス(一般社団法人新経済連盟主催「新経済サミット 2018」(NEST2018)※)で転移学習が取り上げられるなど、注目は高まっています。

※参考:Biz/Zineセミナーレポート(2018)「東大 松尾氏、楽天 森氏、ABEJA 岡田氏らが語る、“ないない尽くし”の日本で注目すべき3つのAI技術」

具体的には、各病院をまたいで診療データを学ばせることで、汎用的に使えるモデルを作成するということができるかもしれません。

使える診療データが多ければ、ディープラーニングによって、一定の疾病を推測して診断するモデルの構築は可能です。ただ個別の病院だとデータ量が足りず、プライバシーの問題があるので病院をまたいだデータの持ち出しはできません。また、各病院も高齢者が多かったり小児科中心だったり、都心か地域かなどによっても患者さんにばらつきがあります。

そうした揺らぎの許容を含めて、各病院からデータは持ち出さずに知見だけを得て、次の病院に行くことを繰り返してだんだん賢くなる……というAIを転移学習で可能になると考えています。
考えてみれば、研修医が各病院で経験を積む過程もデータは持ち出さないので、転移学習をしているわけですよね。過去の例を信じすぎない、という点も重要だったりします。

 

知識や記憶を応用できるAIの構築に向けて

今後は、汎用的なAIに関する基礎理論を、より強固にしていきたいです。現在は汎用AIの構築に向けたさまざまな手法やアーキテクチャが提案されていますが、理論的に「なぜそれが知的に振舞うのか」「そもそも知性とは何か」といった部分の議論がまだ十分ではないと感じています。

「知性とは」という問いは、哲学的に議論する方向もありますし、個人的には興味がありますが、研究としては工学的に捉えて掘り下げていきます。「汎用的なAIを実際にプログラムして構築する」ために必要な要素を抽出して、工学的に再現することを目指します。

最近では「汎用人工知能研究会」が活性化したり、専門書の出版が相次いだりしています。人間のような知能や知性を持って応用が利くAI、というと、以前は夢物語のような印象を持たれていましたが、具体的な議論が進んできました。その流れの中で、転移学習や継続学習を深めていきたいです。

 

若手研究者やAI研究に興味がある学生へメッセージ

AI研究が扱う領域はとても広く、どんなバックグラウンドの方もやる気次第でまだまだ研究できる余地があります。私も博士課程までは異なる分野にいたので、今からも遅くありません。興味がある方は、ぜひ飛び込んでみてください。

【プロフィール】
熊谷 亘(くまがい・わたる)
学部と修士課程では数学を専攻。2013年 東北大学大学院 情報科学研究科 博士課程修了。名古屋大学 学振PD、神奈川大学 工学部 特任助教、理化学研究所 革新知能統合研究センターの研究員を経て、2020年8月に松尾研に特任助教として参画。