松尾・岩澤研究室では，「知能を創る」というミッションのもと，世界モデルをはじめとした深層学習やそれを超える基礎技術の開発，ロボティクスや大規模言語モデル，アルゴリズムの社会実証といった幅広い研究領域で活動しています．フルタイムの研究員の数も10名を超え（今後も継続的に増やす予定です），2023年度にはICML，ICLR，NAACL，ICRAなどのトップ会議に14本の論文が採択されています（最近の採択論文一覧はこちら）．
こうした活動を更に拡大するため，新たな試みとして第1期のリサーチインターンシップの募集を行います．各領域の第一線で活躍する研究者のメンタリングのもと，普段は外部からは見えにくい，研究室の中の研究活動の現場を体験することができます．
本記事ではリサーチインターンで募集するテーマと、メンターのご紹介をさせていただきます。
リサーチインターンシップについての詳細：http://weblab.t.u-tokyo.ac.jp/2024-04-17/
■ 鈴木雅大（特任助教）
担当テーマ：「1. 世界モデルのモデルマージに関する研究」「4. Backpropagation-free Algorithm」
- 自己紹介
- プロフィール
- 2013年3月 北海道大学工学部卒業（学業優秀賞）
- 2015年3月 北海道大学大学院情報科学研究科修了
- 2018年3月 東京大学大学院工学系研究科修了，博士（工学）
- 博士論文：深層学習と生成モデルによるマルチモーダル学習に関する研究（工学系研究科長賞（研究））
- 2018年4月 東京大学大学院工学系研究科 特任研究員
- 2020年8月 東京大学大学院工学系研究科 特任助教
- 研究内容
- 人間のような知能を持つ汎用的なAIの実現に興味があって研究しています．深層生成モデルやマルチモーダル学習，世界モデルなどについて研究しています．以前は転移学習（ゼロショット学習）についても研究していました．最近は，モデルマージやニューラルネットワークの学習手法に関する研究も行っている他，学術変革「予測と行動の統一理論の開拓と検証」では神経科学の先生方と理論と実験の両面から知能の統一理論の実現に向けた研究も行っています．
- URL
- プロフィール
- 松尾研に入ったきっかけ／なぜ松尾研に来たのか
- 博士課程から松尾研に所属し，卒業後も研究員として継続して所属しています．
- 松尾研では深層生成モデルや，ロボティクス，大規模言語モデルなど，多岐に渡る研究を行っていますが，それぞれのメンバーが松尾研の目標である「知能を創る」ことを真剣に追求している点が特徴的だと思います．そうしたメンバーと日々議論しながら研究を進めることができるのは、非常に良い環境だと感じています．
- 応募テーマの詳細／コメント
- 「1. 世界モデルのモデルマージに関する研究」と「4. Backpropagation-free Algorithm」について担当します．
- 「1. 世界モデルのモデルマージに関する研究」では，異なる環境で学習された複数の世界モデルをマージする手法を開発します．この研究の目的は、個々のモデルが持つ限定された環境情報を超えて，より広範な環境に対応できるモデルをマージによって構築することです．これにより，単一のモデルでは予測が困難な未知の状況に対しても，より正確な予測を行い，効果的な行動方策を学習する能力を向上させることを目指します．
- 「4. Backpropagation-free Algorithm」では，従来の誤差逆伝播法に依存しない学習アルゴリズムの開発を行います．誤差逆伝播法は，大域的な誤差を各ニューロンに分配することで各層のパラメータの勾配を求めることができる効率的なアルゴリズムであり，現在の深層学習の学習手法において不可欠です．しかしながら，順伝播と逆伝播の非対称性などから，以前から神経科学的な妥当性が低いと指摘されてきました．また実用面からも，ネットワーク全体で逆伝播する必要があるため，大規模なモデルにおいて学習が不安定になりやすく，さらに有向非循環グラフ以外のアーキテクチャでの学習が困難といった課題があります．本研究では，近年研究されている局所的な情報のみでパラメータを学習するアプローチを基に，誤差逆伝播法の課題を解決した新しい学習アルゴリズムの開発を目指します．
- 応募者へ一言
- 「知能を創る」という目標に共感し積極的に取り組んでくれる学生をお待ちしています．ぜひ一緒に研究しましょう！
- 「知能を創る」という目標に共感し積極的に取り組んでくれる学生をお待ちしています．ぜひ一緒に研究しましょう！
■ Paavo Parmas （特任助教）
担当テーマ：「2.メタ強化学習と方策勾配法に関する基礎研究」
- 自己紹介
- プロフィール
- 2010 – 2014, University of Cambridge, BA, MEng
- advisor: Carl Edward Rasmussen
- 2014 – 2020, Okinawa Institute of Science and Technology Graduate University, PhD
- advisor: Kenji Doya
- spent time as a visiting student at the University of Cambridge in Carl Edward Rasmussen’s lab, at TU Darmstadt in Jan Peters’ lab, and at ATR in Jun Morimoto’s lab
- Research intern at RIKEN AIP in Masashi Sugiyama’s lab and at DeepMind Paris in Remi Munos’ lab.
- 2020 – 2024, Kyoto University, Program-Specific Assistant Professor
- 2024 – , University of Tokyo, Project Assistant Professor
- 2010 – 2014, University of Cambridge, BA, MEng
- 研究内容
- Keywords: Model-based reinforcement learning, Monte Carlo gradient estimation, policy gradient reinforcement learning, world models, deep learning, robotics
Paavo is broadly interested in everything related to gradients – how to compute/estimate them, and their application to optimize various objectives in machine learning. A key theme in his research has been the application of derivative-based optimization algorithms to reinforcement learning. One of his notable findings is the issue that gradients will become ill-behaved in chaotic systems One of his notable findings is the issue that gradients will become ill-behaved in chaotic systems [1]. Such issues are prevalent throughout deep learning. To overcome such issues, he proposed new gradient computation schemes that combine 0-th order derivative-free gradient estimators with 1-st order derivative-based gradient estimators. In later work, he proposed a unified view of such gradient estimators [2], proposed software that automatically implements these algorithms [3], and scaled the algorithms to be applicable to world model-based reinforcement learning [4].
[1] ICML2018 http://proceedings.mlr.press/v80/parmas18a
[2] AISTATS2021 http://proceedings.mlr.press/v130/parmas21a
[3] NeurIPS2022 https://proceedings.neurips.cc/paper_files/paper/2022/hash/bbc9d480a8257889d2af88983e8b126a-Abstract-Conference.html
[4] ICML2023 https://proceedings.mlr.press/v202/parmas23a
- Keywords: Model-based reinforcement learning, Monte Carlo gradient estimation, policy gradient reinforcement learning, world models, deep learning, robotics
- URL
- プロフィール
- 松尾研に入ったきっかけ／なぜ松尾研に来たのか
- 今年の4月から松尾・岩澤研に着任したばかりです。印象としては、一般的な大学の研究室とはかなり違う雰囲気です。研究だけでなく、社会実装や教育にも力を入れて、サポートスタッフも多くて、とても充実した環境だと思います。会社と大学の良い所を取り、組み合わせた感じです。
- 松尾研に来た一番大きい理由は研究テーマが私と一致している事です。長期的なゴールとして知能を作りたく、それに向けた基礎研究を行っています。
- 応募テーマの詳細／コメント
- 「2. メタ強化学習と方策勾配法に関する基礎研究」というテーマを担当しています。機械学習の研究の流れをみると、ImageNetのブレークスルー以来、だんだんルールベースの手法がデータから学んだ手法に負けています。しかし、学習アルゴリズムにはまだ人が直接決めたルールが多いです。今回のテーマでは、探索ルールをデータから学び、学習をより速くするメタ学習の手法を目指しています。
- 手法のアイデアや具体的な計画をすでに用意していて、そのアイデアを検証するインターンを探しています。インターン期間の2ヶ月でも達成可能と思い、上手く行けば国際会議への投稿を目指したいです。もちろん、採択者が問題を解く手法を提案すれば、それでも構いません。
- 仕事内容は主にコーディングと計算実験や結果解析になります。また、ちょっとした面白い数学も含みます。
- インターンに教えたい事は方策勾配法に関する詳しい知識と私なりの研究の進め方や実験の仕方です。
- 応募者へ一言
- 勉強熱心かつ根本的な問題に取り組みたいインターンと一緒に研究出来る事を楽しみにしています。
■ 岩澤有祐（准教授）
担当テーマ：「3. 大規模ワールドモデルの構築」「7. 強い宝くじ仮説に関する研究」
- 自己紹介
- プロフィール
-
-
-
- 2012年 上智大学理工学研究科情報学領域を卒業
- 2014年 上智大学理工学研究科理工学専攻情報学領域を修了
- 2017年 東京大学工学系研究科技術経営戦略学専攻博士後期課程を修了（学術振興会特別研究員DC1）
- 2017年より、東京大学松尾研究室 特任研究員
- 2018年より、東京大学松尾研究室 特任助教
- 2020年12月より、東京大学工学系研究科 技術経営戦略学専攻 特任講師
- 2022年4月より同講師
- 2023年5月より東京大学工学部システム創成学科Cコース兼任
- 2024年1月より准教授
- 2012年 上智大学理工学研究科情報学領域を卒業
-
- 研究内容
-
-
-
- 修士課程までは機械学習の障害者支援への応用研究を行っていました．特に，ウェアラブルセンサで取得したデータを分析することで，障害者が街のどこで不快を感じているのかを検知/可視化する研究を行っていました．
- 松尾研に入った博士課程以降は深層学習，その中でも特に転移学習（ドメイン汎化，メタ学習，Test-Time Adaptationなど）に関する研究を行っています．最近は大規模なモデルやその学習過程で何が起こっているかにも関心があり，介入を利用したニューロンの挙動の分析，Grokking，強い宝くじ仮説なども研究しています
- URL
-
- 松尾研に入ったきっかけ／なぜ松尾研に来たのか
- 松尾研には博士課程から在籍しており，そのまま継続して残っています．
- 研究テーマ一覧を見てもらえばわかるように，1つの研究室とは思えないくらい幅広い領域の研究者がおり，それぞれが多様な問題意識で研究を行っており様々な刺激が得られることが魅力の一つだと思います．
- 応募テーマの詳細／コメント
- 「3. 大規模ワールドモデルの構築」と「7. 強い宝くじ仮説に関する研究」を担当します．
- 大規模ワールドモデルの構築に関しては，タイトルの通り数B～数10Bクラスの巨大な世界モデルの構築を行います．すでに内部である程度の実験準備は行っており，さまざまなモデルのスケール則を検証していくフェースです．Transformerを始め，Mambaのような最近の系列モデルなどさまざまなモデルのスケール特性（あるいはそもそもスケール則が成立するのか）を調査したり，言語モデルのスケール特性とどのように異なるのかを調査します．成果は論文として公開したり，あるいはロボットチームとの連携の元実ロボットの制御タスクで利用することも検討しています．
- 「7. 強い宝くじ仮説に関する研究」では，ランダムに初期化されたネットワークから重みの更新なしで良い性能を達成するネットワークを発見する効率的なアルゴリズムの開発を行います．このようなネットワークが存在することは「強い宝くじ仮説」として知られており，従来のような「重みの最適化」としての深層学習の解釈以外に「構造の最適化」の観点の重要性を示唆しているという意味で興味深い現象だと考えています．Edge-Popupと呼ばれるデファクトのアルゴリズムがありますが，計算効率が良くなかったり，探索効率が良くなかったりと問題があり，改善するいくつかのアイディアについて実装を行う人を募集しています（提案も歓迎します）．また，構造探索の観点と深層学習の学習過程で生じるその他の現象（GrokkingやDouble Decent）についても研究しており，関心がある人はそちらのテーマを進めることも出来ます．どちらも国際会議への投稿を主な出口として想定しています．
- 応募者へ一言
- 他の研究室や研究員の進め方を知る機会というのは，意外となかなかない機会だと思います（特に大学の研究室だとなおさら）．期間中はもちろん，いろいろなことを吸収してよりよい研究ライフを送りたい人に取って新しい刺激が得られる環境だと思うので，ぜひ応募お待ちしています！
- 他の研究室や研究員の進め方を知る機会というのは，意外となかなかない機会だと思います（特に大学の研究室だとなおさら）．期間中はもちろん，いろいろなことを吸収してよりよい研究ライフを送りたい人に取って新しい刺激が得られる環境だと思うので，ぜひ応募お待ちしています！
■谷口 尚平（特任研究員）
担当テーマ：「5. 拡散モデルの蒸留手法に関する研究」「6. Transformer のアーキテクチャ改善に関する研究」
- 自己紹介
- プロフィール
- 2019年3月 東京大学工学部システム創成学科知能社会システムコース卒業
- 2021年3月 東京大学大学院工学系研究科技術経営戦略学専攻 修士課程修了
- 2024年3月 同博士課程修了
- 2024年4月 東京大学大学院工学系研究科 特任研究員
- 研究内容
- 深層生成モデル，確率的最適化
- URL
- プロフィール
- 松尾研に入ったきっかけ／なぜ松尾研に来たのか
- 私は学部4年の卒論配属から松尾研に入り、そのまま今年3月に博士号を取得して、現在研究員として働いています。松尾研を選んだ理由は何よりも研究環境の充実が大きいです。基礎理論から産業応用まで深層学習の幅広い領域の優秀な研究者が集まっており、計算機環境も非常に充実しているため、大きなインパクトを出す研究ができる環境が整っています。
- 応募テーマの詳細／コメント
- 私は「5. 拡散モデルの蒸留手法に関する研究」「6. Transformer のアーキテクチャ改善に関する研究」の2つのテーマを担当します。
- 1つ目のテーマの拡散モデルは、逐次的にノイズを除去していくことで新しいデータを生成するモデルで、近年画像や動画の生成モデルとして大きな成功を収めています。先日、OpenAIから発表されて大きな話題となった動画生成モデルSoraも拡散モデルをベースとしています。拡散モデルは非常に高精細なデータの生成ができる一方で、ノイズ除去の過程で逐次的な処理を要するため、データ生成に時間がかかるという問題があります。そのような課題に対する解決策として、学習した拡散モデルを生成の速い別のモデルで「蒸留」する手法が注目されています。「蒸留」とは、ベースとなる親モデルがもつ知識を、別に用意した子モデルに移し替えてやる技術です。典型的には、親モデルが生成したデータを教師データとして、それを真似するように子モデルを学習させるという方法が一般的です。このような「蒸留」の技術を拡散モデルに用いる研究は、近年盛んに行われていますが、多くの場合、蒸留する際に、学習データを必要とします。しかし、最近では、StableDiffusionをはじめとして、拡散モデルの学習に用いたデータが公開されないことも増えており、このような場合には、蒸留時にデータを必要とする手法は適用が難しくなります。本研究では、学習データを用いずに、親モデルと子モデルのみから蒸留を行う手法の開発に取り組んでいただきます。非常にチャレンジングな研究ですが、良い手法が提案できればインパクトのある結果が出せるテーマになっているかと思います。
-
- 2つ目のテーマは、近年の深層学習においてデファクトスタンダードのモデル構造になりつつある「Transformer」についての研究です。Transformerは、言語モデルで初めに成功を収めましたが、その汎用性から、最近ではコンピュータビジョンなどの幅広い領域でも用いられています。しかし、その高い性能とは裏腹に、計算量の大きいモデルとしても知られています。特に、系列長に対して2乗のオーダーで計算量が増大するため、非常に長期の系列を扱うことは現実的に難しいことが多いです。この課題は、大規模言語モデル（LLM）でTransformerを用いる場合にも、長い文章をプロンプトとして与えたり、長文のチャットを繰り返す際などに問題となります。近年は、この課題を解決するための手法がいくつか提案されており、GoogleのGeminiなどの最新のLLMにも実装され始めています。しかし、そのような手法は精度とトレードオフになることが多く、まだ根本的な解決には至っていないのが現状です。また、別の課題として、Transformerは学習が不安定になりやすいことも知られており、この解決も重要な研究課題です。本研究では、これらの課題を根本的に解決するようなモデルアーキテクチャの開発に取り組んでいただきます。
- 応募者へ一言
- 深層学習の最先端の研究に触れることのできる良い機会だと思いますので、気負わず積極的にご応募していただけると嬉しいです！
■ 小島武 （特任研究員）
担当テーマ：「8. 大規模言語モデルの社会的リスクに関する 研究（バイアス・ハルシネーション・反学習等）」「9.大規模言語モデルの動作原理の理解」「10. 大規模言語モデルによるモデル開発に関する研究」
- 自己紹介
- プロフィール
- 2023年3月 東京大学大学院 工学系研究科 技術経営戦略学専攻 博士課程修了
- 2023年4月〜 東京大学大学院 工学系研究科 技術経営戦略学専攻 特任研究員
- 研究内容
- 大規模言語モデル
- プロフィール
- 松尾研に入ったきっかけ／なぜ松尾研に来たのか
- DeepLearningの研究を行う上で、国内最高のリソース（研究者や計算環境）にアクセスできる場所だと思ったから。
- DeepLearningの研究を行う上で、国内最高のリソース（研究者や計算環境）にアクセスできる場所だと思ったから。
- 応募テーマの詳細／コメント
- 『大規模言語モデルの社会的リスクに関する研究（バイアス・ハルシネーション・反学習等）』、『大規模言語モデルの動作原理の理解』、『大規模言語モデルによるモデル開発に関する研究』のテーマを担当します。
- 応募者へ一言
- 一緒に面白い研究をやりましょう！研究に対するパッション強めの人大歓迎です。
■ 宮西大樹 （特任研究員）
担当テーマ：「11. 基盤モデルを用いた都市規模3D Vision-Languageに関する研究」
- 自己紹介
- プロフィール
- 2009年3月 神戸大学工学部情報知能工学科卒業
- 2011年3月 神戸大学大学院工学研究科修士課程修了
- 2014年3月 神戸大学大学院システム情報学研究科博士後期課程修了
- 2014年4月 株式会社国際電気通信基礎技術研究所 専任研究員
- 2024年4月 東京大学大学院工学系研究科 特任研究員（さきがけ専任研究者）
- 研究内容
- 計算機が三次元の世界を理解し、それに対する言語的説明やエージェントへの指示を実現することを目的とする3D Vision-Languageの研究に取り組んでいます。最近は、都市規模の3Dデータを用いたVisual GroundingやNavigation課題にも取り組んでいます。
- URL
- プロフィール
- 松尾研に入ったきっかけ／なぜ松尾研に来たのか
- 松尾研の方々の研究発表を聞く機会があり、研究のレベルが高かった
- 研究室で実施されている研究内容に興味がありかつ自身の研究テーマと親和性が高いと感じたため
- 応募テーマの詳細／コメント
- 「11. 基盤モデルを用いた都市規模3D Vision-Languageに関する研究」を担当します。本課題では都市規模の3Dデータと言語データを紐づける研究に取り組みます
- 具体的には、都市規模の3D Question Answeringや3D Visual Groundingデータセットの作成、及びそのデータを用いたEmbodied AIの開発などを行います
- 応募者へ一言
- 一緒に面白い研究をして、論文・データ・コードを世の中に発信していきましょう！
■ 松嶋 達也 （特任研究員）
担当テーマ：「12. ロボティクスにおける基盤モデル構築」「13. ロボティクスでの基盤モデルの活用と転移学習」「14. 高速で微分可能なシミュレータ・レンダラを用いた動作計画・環境のモデリング」
- 自己紹介
- プロフィール
- 2018年3月 東京大学 工学部システム創成学科 知能社会システムコース 卒業
- 2020年3月 東京大学大学院 工学系研究科 技術経営戦略学専攻 修士課程 修了 (専攻長賞 受賞)
- 2023年3月 東京大学大学院 工学系研究科 技術経営戦略学専攻 博士課程 修了
- 2018年-2023年 人工知能学会学生編集委員
- 研究内容
- 人間と共生できるような適応的なロボットの開発と，そのようなロボットを作ることにより生命性や知能を構成的に理解することに興味があります．
- 特に現在は，深層生成モデルを用いた環境のダイナミクスのモデリング（世界モデル）・オフラインデータを活用したロボットの制御の学習やそれに基づくサービスロボットシステムの開発に興味があります．
- URL
- プロフィール
- 松尾研に入ったきっかけ／なぜ松尾研に来たのか
- 学部4年生の卒論配属から松尾研に所属し博士をとったあと，特任研究員として働いています．中高時代からちょっとしたロボコンに参加していて，「かしこさ」や「いきものっぽさ」ってなんだろうということに疑問を持ってロボティクスの研究をやりたいと思い大学に進学しました．卒論配属の研究室紹介資料に「ロボティクス」と書いてあったので松尾研を希望したのに，2017年当時の松尾研ではほとんどやっていませんでした笑！それでも修士に入ってからもロボットをやりたいと思ったので，修士や学部生の仲間とロボット学習に関する研究テーマを始めて今に至ります（このあたりの経緯はインタビュー記事を読んでください）．現在では，たくさんのロボットと学生・研究員の仲間がおり，非常に充実した研究生活を送れる環境を作れたと思います．
- 応募テーマの詳細／コメント
- 私は「12. ロボティクスにおける基盤モデル構築」「13. ロボティクスでの基盤モデルの活用と転移学習」「14. 高速で微分可能なシミュレータ・レンダラを用いた動作計画・環境のモデリング」の3テーマを担当します．どのテーマも，ロボット学習領域の最先端を走るもので，ロボティクス・ロボット学習系のトップ国際会議（ICRA/IROS，RSS/CoRL）での採択や，論文誌（science roboticsやRAL/TROなど）への採択を目指します．
- 「12. ロボティクスにおける基盤モデル構築」では，模倣学習や強化学習に基づくEnd-to-Endな大規模なロボットの制御モデル，いわば「ロボット基盤モデル」の構築に関する研究を行います．本テーマでは，マニピュレーションタスクを中心として，ロボットの画像や言語・力触覚などのセンサ入力から，ロボットの制御値（姿勢や力）を直接出力するような，大規模な基盤モデルの構築を目指します．具体的には，①多様な環境やタスクでデータを集める方法（外部の研究機関とのコラボレーションを含む），②制御方策のスケール則の検証，③既存のLLMやVLMのfinetuningやモデルマージとしての制御方策の構築，④ロボット基盤モデルでのin-context learninig能力の検証，などデータ収集からモデル学習，それらの性質の解明まで広いテーマになっていますが，インターン学生の希望やスキルに合わせたテーマ設定にしようと思っています．
- 「13. ロボティクスでの基盤モデルの活用と転移学習」では，基盤モデルをロボットシステムで効果的に活用する際の課題を見つけ，解決策の検証を行います．
具体的には以下のようなテーマを想定しています．
• 複数の基盤モデルを活用したロボットシステムの構
• RT-X などの大規模なロボット基盤モデルの新しいタスクや環境，モダリティ（力触
覚・点群など）への転移学習や finetuning 手法に関する研究
• ロボット基盤モデルのモデルマージ手法の検討
- 「14. 高速で微分可能なシミュレータ・レンダラを用いた動作計画・環境のモデリング」では，GPU を利用した高速で微分可能な物理シミュレータ・レンダラを活用して，効率的にロボットの動作計画や環境認識・モデリングを行う手法やフレームワークに関する研究を実施します．
- 応募者へ一言
- ロボット愛あふれる方の応募をお待ちしています！一緒にロボットと遊びましょう！
■ 河野慎（特任助教）
担当テーマ：「15.基盤モデル時代における低コストな応用手法の研究」「16. LLM利活用による実社会課題解決に関する研究」
- 自己紹介
- プロフィール
- 2014年 慶應義塾大学環境情報学部卒業
- 2016年 東京大学大学院学際情報学府修士課程修了
- 2019年 慶應義塾大学大学院政策・メディア研究科博士後期課程修了（学術振興会特別研究員DC1）
- 2019年 東京大学松尾研究室 特任研究員
- 2023年より東京大学松尾研究室 特任助教
- 研究内容
- （主）転移学習．メタ学習．深層生成モデル
- （副）実世界応用・運用，変分推論
- URL
- プロフィール
- 松尾研に入ったきっかけ／なぜ松尾研に来たのか
- 私自身、2015年頃から深層学習の研究を始め、DL輪読会への参加が松尾研との関わりのきっかけとなりました。
- 博士課程では、スマートシティ実現に向けた自治体との連携プロジェクトにおいて、深層学習技術の社会実装に取り組みました。しかし、課題自体の難しさに加え、予算面やプライバシー保護など様々な制約がありました。そうした制約下での技術開発や実証実験には多くの困難がありましたが、やりがいを感じながら取り組んできました。
- 卒業後は、制約下での課題に対して技術的アプローチを重視したいと考え、企業との共同研究から社会実装の知見を蓄積し、深層学習分野でいち早く研究を始めていた松尾研究室にポスドクとして参加しました。
- 応募テーマの詳細／コメント
- 本インターンでは「15.基盤モデル時代における低コストな応用手法の研究」「16. LLM利活用による実社会課題解決に関する研究」の2テーマを担当します。これらのテーマでは、大規模言語モデル(LLM)や基盤モデルなど、膨大な計算リソース及び学習データを必要とする技術の普及が進む中、それらのリソースに制約のある環境でも十分に機能するような応用技術の研究開発に取り組みます。
- ここ1、2年で深層学習のコモディティ化が急速に進み、様々なサービスに深層学習が日常的に導入されるようになってきました。こうしたサービスが将来直面するであろう課題に取り組む予定です。
- さらに、LLMや基盤モデルの登場により、従来の深層学習ではできなかったことが可能になり、上記の課題に加えて社会実装のボトルネックとなっていた課題の解決にもつながる可能性があります。こういった新たな課題にも積極的に取り組んでいきます。
- 本インターン期間内の実施は難しいかもしれませんが，実際の企業との共同研究のなかで本インターンで研究開発した技術を利用した社会実装や実証実験も視野に入れて取り組んでいく予定です。
- 応募者へ一言
- 私自身，最先端の技術を導入することで人々の生活が豊かになることに面白さを感じながら研究をしています．ぜひ，自分や身の回りの人たちを含めたみんなの生活が便利になっていくかを想像し，そんな世の中の実現に向けてワクワクしながら一緒に研究をしましょう！
■ 山川宏 （主幹研究員）
担当テーマ：「17. 脳参照アーキテクチャに基づく脳型 AI モデルの構築」
- 自己紹介
- プロフィール
- 1987年：東京理科大学理学部物理学科卒業
- 1989年：東京大学大学院 理学系研究科 物理学専攻 修士課程修了
- 1992年：東京大学大学院 工学系研究科 電子工学専攻 博士課程修了
- 1992年～2014年：(株)富士通研究所
- 1994年：同社から通産省リアル・ワールド・コンピューティング・プロジェクトに参加
- 2014年～19年：(株)ドワンゴ 人工知能研究所 所長
- 2015年：産総研人工知能研究センター客員研究員就任
- 2015年：特定非営利活動法人 全脳アーキテクチャ・イニシアティブ 代表就任
- 2015年：電気通信大学大学院 情報システム学研究科客員教授就任
- 2016年：慶應義塾大学SFC研究所上席所員就任
- 2016年～18年：人工知能学会編集委員長
- 2017年：東京大学医学部・客員研究員就任
- 2018年：理化学研究所 革新知能統合研究センター 客員研究員就任
- 2019年：理化学研究所 生命機能科学研究センター 客員主管研究員就任
- 2020年：近畿大学情報科学研究所客員研究員就任
- 研究内容
- 専門は人工知能と計算論的神経科学です。特に、汎用人工知能、全脳アーキテクチャ、概念獲得、AIアライメント、意見集約技術など。
- URL
- プロフィール
- 松尾研に入ったきっかけ／なぜ松尾研に来たのか
- 20年ほど前に「ネットワーク-予測性-属性生成」という記事をJSAI2006に松尾先生と共著で投稿させていたいただいたころより、折に触れて知能の本質について議論を重ねきた経緯などから、2019年からJoinさせていただきました。
- 現在は、ヒトを含めた動物が新しい行動を自発的に行うようになる脳の計算機構をさぐる「行動変容生物学」の研究にかかわるメンバーの参加も増えています。
- 応募テーマの詳細／コメント
- 人にとって解釈しやすい「ヒト脳型汎用人工知能」の構築を促進しています。そのために、私が担当するテーマでは、その設計情報である全脳参照アーキテクチャ（WBRA）を早期に作成し公開することをめざしています。
- 具体的には、脳全体のアーキテクチャから学んで脳型汎用人工知能ソフトウエアの構築を推進する全脳アーキテクチャアプローチの研究と開発に関わるものです。現在、そのアプローチは脳参照アーキテクチャ(BRA)駆動開発によって進められています。そこではまずメゾスコピックレベルの解剖学的構造である脳情報フローを抽出し、それと整合的な計算機能の仮説的コンポーネント図を設計します。そしてそのコンポーネント図を参照しながら脳型ソフトウエアを実装します。この際に、大規模言語モデルなどのAI技術を活用しながら設計を効率化していきます．
- 参考文献：
- 山川 宏 (2022). 全脳アーキテクチャ ─ 機能を理解しながら脳型AIを設計・開発する ─. In 認知科学講座4 心をとらえるフレームワークの展開 認知科学講座., 横澤一彦, ed. (東京大学出版会), pp. 209–249.
- Yamakawa, H. (2021). The whole brain architecture approach: Accelerating the development of artificial general intelligence by referring to the brain. Neural Netw. 144, 478–495.
- 応募者へ一言
- 神経科学論文に記述された脳の解剖学的なアーキテクチャを活かした形で、知能の計算を理解し設計することに興味がある方に向いています。
皆様のご応募をお待ちしております。
応募フォーム（締切： 2024年5月31日（金））：https://forms.gle/trSmpMKwgDyBnmnEA
