Matsuo-Iwasawa Laboratory held the final debriefing for 2024 Summer Interns. Prof. Matsuo also participated in this session, and the research interns presented their results. After the final debriefing, a reception was held to get to know each other and to discuss their research. …
Mr. Shunsuke Chiba, a first-year master’s student in our laboratory, has been selected in the “SCIENCE & TECHNOLOGY & SOCIAL” category of “FORBES JAPAN 30 UNDER 30 2024”. For details, please refer to the official website below. https://forbesjapan.com/feat/30under30/2024/ ＜Award Comment＞ We are very pleased to receive this very prestigious award. neoAI, founded in 2022,…
発表のポイント 経産省及びNEDOが進める日本国内の生成AI基盤モデル開発を推進する「GENIAC」プロジェクトにおいて、松尾・岩澤研究室が「Tanuki-8×8B」を開発・公開。 本モデルは、フルスクラッチで開発されており、対話、作文能力を評価する指標「Japanese MT-Bench」において「GPT-3.5 Turbo」と同等以上の性能を達成。 Apache License 2.0のライセンスに基づき、研究および商業目的での自由な利用が可能。「Tanuki-8×8B」の軽量版である、「Tanuki-8B」をチャット形式で利用できるデモも公開。 本モデルのNejumi LLMリーダーボード3における評価 発表内容 東京大学大学院工学系研究科技術経営戦略学専攻 松尾・岩澤研究室（以下「松尾研」）は、経済産業省及び国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が推進する、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」（注1）において、大規模言語モデル「Tanuki-8×8B」を開発し、公開いたしました。 〈開発の背景〉 本活動は、日本国内の生成AI基盤モデル開発を推進する「GENIAC」プロジェクトにおいて、2023年8月に公開した100億パラメータサイズのLLM「Weblab-10B」の開発経験をベースに、LLM開発を進めるものです。 松尾研が提供する大規模言語モデル講座（2023年8月開催、2000名以上が受講）の修了生及び一般公募によって集まった有志のメンバー（⺠間企業・研究者・学⽣で構成）が、それぞれの知見を取り入れながら開発に取り組みました。 開発工程は2つのフェーズに分かれており、Phase1（注2）では7チームに分かれてコンペティション形式で開発を進め、Phase2ではPhase1の優勝チームが更に大規模なモデル開発に挑戦しました。「Tanuki-8×8B」は本取り組みの結果開発され、公開するものです。 松尾研GENIACプロジェクトについては下記をご覧ください。 https://weblab.t.u-tokyo.ac.jp/geniac_llm/ 〈「Tanuki-8×8B」の概要〉 「Tanuki-8×8B」はPhase1で構築された8Bモデルを8つに複製し、それぞれを専門家モデルとして分化・連携させることで動作するように効率的に追加学習されたモデル（注3）です。本モデルは、フルスクラッチで開発されており、作文、会話を評価する指標「Japanese MT-Bench」においては「GPT-3.5 Turbo」と同等以上の性能を達成しています。モデル名は「日本らしく、親しみを覚える動物の名前」というテーマでチームメンバーで案を出し、投票で決定しました。 開発モデル公開URL 本モデルはApache License 2.0のライセンスに基づき、研究および商業目的での自由な利用が可能です。 Tanuki-8x8B：https://huggingface.co/weblab-GENIAC/Tanuki-8x8B-dpo-v1.0 Tanuki-8B：https://huggingface.co/weblab-GENIAC/Tanuki-8B-dpo-v1.0 デモ公開URL 「Tanuki-8×8B」の軽量版である、「Tanuki-8B」をチャット形式で利用できるデモを下記URLで公開しております。下記URLにアクセスし実際の会話をお試しください。 https://huggingface.co/spaces/weblab-GENIAC/Tanuki-8B-dpo-v1.0 ※期間限定公開・終了日時未定 デモ画面 〈「Tanuki-8×8B」の特徴〉 「Tanuki-8×8B」は文章の作文や対話を中心に学習しており、当該能力を測る「Japanese MT-Bench」では事前学習からフルスクラッチで開発を行ったモデルとして、GPT-3.5 Turboと同等の性能を達成しています。 Nejumi LLMリーダーボード3における評価 はじめに､大規模言語モデルの総合的な日本語能力を評価するための最新（注4）のベンチマークシステムであるNejumi LLMリーダーボード3のベンチマークプログラムを用いてモデル性能を評価し､既存のモデル群（注5）と比較しました｡ 橙色が本プロジェクトで開発されたモデル､青色が他モデルを表す Nejumi LLMリーダーボード3は言語モデルの文章作成､対話能力のほか､知識や安全性など､さまざまな観点から性能を評価するシステムです｡本ベンチマークにおける「Tanuki-8×8B」の総合スコアは0.57/1.00で､OpenAIのGPT-3.5…
Mr. Jonathan Frankle, who is famous for “The Lottery Ticket Hypothesis” and is currently Chief Neural Network Scientist at Databricks, gave a lecture at the University of Tokyo. Approximately 50 people, including researchers and students of the Matsuo-Iwasawa Laboratory, attended the lecture on “Training Modern LLMs from Scratch. Speaker biography: Mr. Jonathan Frankle…
With the mission of “Creating Intelligence,” the Matsuo-Iwasawa Laboratory is actively conducting a wide range of research, including the development of world models and other fundamental technologies for deep learning and beyond, robotics, large-scale language models, and social implementation of algorithms. The number of full-time researchers has exceeded 10 (and is expected to continuously increase),…
Prof Danushka, who works for Amazon Inc, visited the Matsuo Lab on Wednesday 31 July. Prof. Danushka belonged to Ishizuka Laboratory as well as Prof. Matsuo, and has had a long-standing relationship with him. Because of this relationship, he has given a lecture every year at our lab. On the day of the lecture, nearly…
Sorry, this entry is only available in Japanese. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language. ■ イベント概要 松尾研の研究員が週次で実施しているDeepLearning論文輪読会の特別編として、「夏のICML連続読み会」を下記日程でゲスト参加型にて開催いたします。 各回のテーマにあわせ、松尾研の各研究ユニットのメンバーが登壇します。 ゲスト発表枠も用意しておりますので、聴講だけでなく、登壇者としてのご参加も歓迎です。 (登壇していただける方でオフラインにてご参加される方には、交通費を支給いたします) なお読み会後は懇親会の開催も予定しております。 松尾研の研究テーマや取り組み、研究環境等を知っていただける機会になればと思っておりますので、ぜひお気軽にご参加ください。 ▼詳細情報・参加申込みは下記Compassページより 第1回 8/1(木) 12:00〜13:30 テーマ | 大規模言語モデル https://connpass.com/event/325775/ 第2回 8/8(木) 12:00〜13:30 テーマ | 世界モデル https://connpass.com/event/326021/ 第3回 8/22(木) 12:00〜13:30 テーマ | Brain…
脱炭素社会を目指すグリーントランスフォーメーション（GX）の国家戦略策定に向け、有識者と意見交換する「GX2040リーダーズパネル」の初会合が首相官邸で開催され、松尾教授が参加いたしました。詳細は下記URLよりご覧ください。
▼松尾プレゼン資料「GXを実現するためのDX・AIの活用」
https://www.cas.go.jp/jp/seisaku/gx_jikkou_kaigi/gx2040/siryou5.pdf
▼GX2040リーダーズパネル（内閣官房HP）
https://www.kantei.go.jp/jp/101_kishida/actions/202407/02gx_readers.html
東京大学大学院工学系研究科技術経営戦略学専攻 松尾・岩澤研究室（以下「松尾研」）は、この度Googleとパートナーシップを結び、2027 年までに日本全国 47 都道府県における地域課題の解決をサポートする生成 AI モデルの実装と AI 人材の育成を支援する取り組みを発表しました。
日本が直面している高齢化社会や労働人口の減少などの社会問題には、AIをはじめとするテクノロジーの活用が解決策の一つであると考えられています。そのような社会課題を背景に、今回のパートナーシップでは、松尾研のコース修了生と Google のエンジニアが協力して、県の課題解決を支援する生成 AIのモデルを構築し、その実装を通して AI 人材育成に貢献します。
第一弾として、雇用のミスマッチ解消を目指した大阪府との取り組みを開始し、今後開始予定の広島県をはじめ各地での取り組みをすすめます。
詳細は下記Google社のリリースをご確認ください。
https://blog.google/intl/ja-jp/company-news/technology/ai-google-for-japan-2024/?linkId=10175699
なお、本件に関する問い合わせ先は お問い合わせフォーム よりお願いいたします。
総務省及び情報通信月間推進協議会により開かれた6月1日の「電波の日」を記念する式典にて、松尾教授が「情報通信月間」総務大臣表彰を授与されました。
功績の概要としては、下記の通りです。
「ＡＩネットワーク社会推進会議の構成員として、ＡＩ事業者ガイドラインの策定に向けた検討に尽力するとともに、ＡＩ戦略会議の座長として、生成ＡＩに関する幅広い議論を主導するなど、我が国のＡＩ戦略の推進に多大な貢献をした。」
詳細は下記をご覧ください。
https://www.soumu.go.jp/menu_news/s-news/01tsushin10_02000075.html
日本語