「The Lottery Ticket Hypothesis（宝くじ仮説）」で有名な、現在DatabricksでChief Neural Network Scientistを務めているJonathan Frankleさんが来日され、東京大学で講演会を開催しました。

当日は松尾・岩澤研究室の研究員や配属学生を含む約50名が参加し、「Training Modern LLMs from Scratch（モダンLLMをゼロから訓練する）」というテーマで講演していただきました。

Speaker biography: Jonathan Frankle氏はDatabricksのチーフ・ニューラルネットワーク・サイエンティストで、Mosaic Researchラボを率いています。30人以上の研究科学者からなる彼のチームは、LLMや拡散モデルのような最新の生成AIモデルをより効率的に学習させることを目的にニューラルネットワークがどのように学習するかを実証的に研究しています。また、2023年にマサチューセッツ工科大学でコンピューターサイエンスの博士号を取得されています。

Title: Training Modern LLMs from Scratch

Abstract: 本講演では、DBRXやMPTのようなモデルを使って産業界で大規模なトレーニングを行ってきた経験に基づき、現代のLLMをゼロからトレーニングするプロセスについて紹介しています。モデルを構築するための基本的な設計の決定とそのためのコストから始め、最後にそれを訓練し、微調整し、人間の嗜好に合わせるためのロジスティクスについて述べます。Databricksはオープンサ イエンスを信条としているので、私たちがどのように産業レベルのLLMを訓練しているか、その詳細をオープンに共有することを目的としています。

講演の内容は以下のリンクからもご覧いただけます。

Session overview: IN THE TRENCHES WITH DBRX: BUILDING A STATE-OF-THE-ART OPEN-SOURCE MODEL

Youtube: “In the Trenches with DBRX: Building a State-of-the-Art Open-Source Model”

松尾研では研究室外の方とも積極的に意見交流する機会があります。

今後もこのように研究室の垣根を越えた積極的な交流を続けていきたいと考えます。
Jonathanさん、この度は松尾研に足をお運びいただき、講演をしてくださりありがとうございました。