6月1日(土) 東京大学福武ホールにて、松尾研LLM開発プロジェクトPhase1のコンペ結果発表会を開催したことをお知らせいたします。

この成果は、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）の助成事業「ポスト５Ｇ情報通信システム基盤強化研究開発事業」（JPNP20017）の結果得られたものです。

松尾研LLM開発プロジェクトについて

松尾研LLM開発プロジェクトでは、2023年8月に公開した100億パラメータサイズのLLM「Weblab-10B」の開発経験をベースに、東京大学松尾研究室が提供する大規模言語モデル講座（2023年9月開催、2000名が受講）の修了生及び松尾研究室講座修了生および一般公募によって集まった有志の開発者（⺠間企業・研究者・学⽣で構成）が、最新の研究成果や技術的な知見を取り入れ、開発を進めます。

一般的にLLMの最適なモデル構造やハイパーパラメータの詳細については十分に分かっていないため、Phase1においては8チームに分かれて複数の研究テーマを設定し探索を行い、知見を共有しながら試行錯誤することで、実用的かつ効率的な手法を採用します。その後Phase2では、最優秀に選ばれた1チームが500億パラメータサイズのLLM開発に取り組みます。

3月に行われたPhase1のキックオフ以来、各チームがしのぎを削って開発に取り組んできました。

結果発表会概要

6月3日(土) 東京大学福武ホールにて、各チームの開発メンバーにお越しいただき、コンペ結果発表会を開催しました。

コンペ結果の発表に先立ち、まず各チームより開発の取り組み発表が行われました。学習コーパス構築からモデル構造の決定、事前学習と事後学習についての説明やモデル評価まで横断的にまとめられており、開発におけるそれぞれの創意工夫や努力が垣間見える内容となっていました。

その後、運営よりコンペの審査基準の説明と結果発表が行われ、各チームのMVPの表彰と松尾教授による総評が続きました。コンペ結果は以下の通りです。

1位は「チームたぬき」、2位・3位はそれぞれ「チームビジネス」「チーム天元突破」でした。

各チームが開発したモデルの出力やスコアの詳細は下記リンクのW&Bよりご覧いただけます。

リンク : https://wandb.ai/weblab-geniac8/weblab_leaderboard/reports/-GENIAC—Vmlldzo4MTYzMTk0?accessToken=by974qw4w7mygwi2g4n2khkqekj0k0k8ax14c8h9t7whljqzvzdmbnyf7ie9wz9j

優勝チーム紹介

優勝チームはチームリーダーの畠山歓さん率いる「チームたぬき」でした。

日本語モデルの構築における、計算リソースに対する最大限の学習効率を目指し、事前学習データセットに対するクリーニングや、人力と機械を組み合わせた大量のデータによるファインチューニングなど、多くの工夫が見られたチームでした。

既にPhase2が開始しており、本チームは50Bクラスのモデル開発に挑戦しています。

開発の様子は、松尾研LLM CommunityのSlackよりどなたでもご覧いただけますので、ぜひ以下のリンクよりご参加いただければと思います。

https://linktr.ee/matsuolab_community

チームビジネス メンバー紹介

リーダー

畠山 歓

メンバー

林寛太, 川村 正春, 斎藤惇, 朝岡忠, p1atdev, 西前和隆, 藤本真志, 渡邉 邦宏, 中屋和樹, 西井康隆, 西田敏夫, Mさん, 加藤祥太, 西澤克彦, 内村友紀, Esty, 町光二郎, 並内優樹, Takahashi Eiji, okamura masaki, 岩田 兼太朗, 山田 涼太, 片上 舜, sone

2位・3位チーム紹介

2位は河越淳さん率いる「チームビジネス」、3位は尾崎大晟さん率いる「チーム天元突破」でした。

チームビジネスは、チーム名の通りビジネス用途向けのLLM開発を方針として掲げ、政府系・経済系のデータを重視して開発を行いました。チーム天元突破は、ハルシネーション逓減を目標とし、事前学習データの品質向上に積極的に取り組みました。

両チームとも、優勝チームに迫る高い結果を上げられていました。

チームビジネス メンバー紹介

リーダー

河越 淳

サブリーダー

植木 彰夫, 小川 雅貴, 江國 翔太, 熊田 匡仁, 西嶋 泰志

メンバー

A_Matsunaga, Kei Tsukamoto, 石原昌文, miwa, Takuma SHIGA, 前河 利治, 福田 渉, 濱田 遼太郎, 角谷 亮太, 角谷 あおい, 吉野 友貴, 和田 颯馬, 榎本 悠佑, 瀬戸 翔一, 矢野 千紘, 許健, 山﨑 加周, 寺岡 潤, 李宰成, 田代 勇希, 大岡 麗

チーム天元突破 メンバー紹介

リーダー

TaiseiOzaki

コアメンバー

GoKikuchi, HiroakiShioya, TakashiShibata, ShunjiTakeshita, HarutoOtsuka

サテライトコアメンバー

MinamiSomeya, KaichiNihira, KoutarouKanno, YoshiakiKoga, KoukiItai, TomaTanaka, NaoyoshiAikawa, AtsukiHattori, HideakiHayashi, GoSuzui, YutoTayama

メンバー

YukikoMatsuda, KazumaMurakami, MitsukiTanoue, MakiSakamoto, ShigekiKajima, ToshioNishida, FumaNakamura, ManatoTajiri, HiideyukiYokoi, ShotaroAmano, YougoMatsui, HiroshiNonaka, ToshinariTanaka, moka

各チームMVP紹介

各チームリーダーより、チームへの多大な貢献をされた方に対してMVP賞の授与が行われました。

  • チームJINIAC
    • 白石尽誠
      • (推薦理由) モデルチームのリーダーとして、モデルチームが進むべき方針を示し、効果的に統率してきた。技術的な洞察力も発揮し、不確定な状況や予期せぬエラーに直面した際にも、冷静さを失わず、不屈の精神で問題解決に当たってきた。特に、チーム内への相談だけではなく、チーム外のメンバーとも積極的にやり取りを行い、エラーに対処した。結果として、プレ環境及び本番環境において、適切にモデルの事前学習及び事後学習を実現させた。
    • 堀江吏将
      • (推薦理由) 本命のモデルがエラーによる学習させることが困難になっていた際、率先してセーフティネットとしての標準コードを回し、万が一に備え学習を急いていただいた。結果としてはセーフティネットとしての標準コードを使用することなく開発を終えたが、このセーフティネットがあったからこそ、DeepSeek-MoEという攻めたアーキテクチャで学習を進めることができた。また、堀江さんは、いつも優しく聡明であり、「堀江さんに聞けばわかる」というほどに頼りになる存在となった。DeepSeek-MoEにおいて学習がうまくなされない場合において、標準コードにおける知見の共有を積極的に行った。チーム内への相談だけではなく、チーム外のメンバーとも積極的にやり取りを行い、エラーに対処した。環境における多くのエラーが発生し、心が折れそうになったというような時でも、チームのために最終日までコードを回し続けて頂きました。
  • チームビジネス
    • 西嶋泰志
      • (推薦理由) 豊富な知識とプログラミング技術で、学習に利用するモデルの構築、計算資源の最適化等、チーム全体の進捗に関わる重要な仕事を実行いただいたため。 データセットチームと連携を取る等、サブチーム内だけでなく、サブチーム外ともコミュニケーションを取り、モデルの精度向上に大きく貢献いただいたため。 エラーが発生した際には、持ち前のプログラミング技術を駆使するだけでなく、チーム外とも連絡を取り、積極的に問題解決に取り組んでいただいたため。
    • 江國翔太
      • (推薦理由) 詳細が未確定の中、事前学習用データセットやファインチューニング用データセットの作成および収集方法についての方針を立て、率先してデータセットの収集に取り組んでいただいたため。 作成および収集いただいたデータセットで学習したおかげで、精度の高いモデルを作成することができたため、モデルの精度向上に大きく貢献いただいた。
  • チーム甲(きのえ)
    • 山内隆太郎
      • (推薦理由) チーム発足当初から事後学習に至るまで、常にエビデンスベースでチームのデータ戦略を主導いただいただけではなく、豊富な知識を用いて、事前学習や事後学習における課題の発見・解決にも貢献し続けてくださったため。
        特に、学習済みモデルの推論の挙動がおかしい点について、原因を特定し解決くださったこと。
    • ベルトン璃亜武
      • (推薦理由) 学習では、学習モデルの構造や実装、Linux環境での操作など、覚える必要があることも多く、それに加えて大所帯の学習チームのタスク管理を行う必要があり、大変チャレンジングなポジションだったかと思いますが、ベルトンさんは、それらを学習しながら、リーダーとしても開発者としても大きくチームに貢献くださったためです。マネジメント未経験とは思えない手腕を発揮いただき、事前学習チームを成功に導いてくださりました。
  • チームたぬき
    • 林寛太
      • (推薦理由) 責任感をもって、昼夜問わず、本番環境での事前学習の対応をほぼ一人で担っていただいた。
    • p1atdev
      • (推薦理由) 指示学習データセットの作成を行うための投稿サイト製作によって多大な貢献をしていただいた。
  • チーム天元突破
    • 染谷実奈美
      • (推薦理由) アシスタントリーダーとしてコアメンバー以上にデータキュレーション作業にアイデアを出して頂いたり、実際にコーディングを行って頂いたりした。技術や情報のキャッチアップ能力に優れ、キュレーション手法や事後学習データセットの選択等で、収集した多くの知見をチームに還元頂いた。時にはわざわざパワーポイントまで作成頂き、他人がキャッチアップしやすい工夫をして頂いた。サテライトコアメンバーとしてデータキュレーションチーム外でもデータコレクション、モデル各チームでも活躍頂いた。リーダーシップも発揮頂き、各人の能力を見抜き、適切にタスク振りの協力を頂いた。非常にコミットメントが高く、約3カ月間、第一線でチームを引っ張って頂いた．他人とも柔和に協調して頂き、各サブチームを繋ぐハブ的な役割も担って頂いた。
    • 塩谷碩彰
      • (推薦理由) モデルチームのリーダとして、事前学習から事後学習まで、非常に高いコミットメントで、活躍くださった。高い実装力と牽引力を持っており、モデルチームの能力の高いメンバーとうまく協調し、少人数かつ短期間でモデル構築を行って頂いた。多分な知識に裏打ちされた先読みの能力が非常に高く、チームの方針決定に優れた指針を頂けた。非常にコミットメントが高く、約3カ月間、第一線でチームを引っ張って頂いた。他人とも柔和に協調して頂き、皆の質問にも快く解答し、チーム全体の力を底上げして頂いた。
  • チームZoo
    • 藤本一聖
      • (推薦理由) 論文、技術ブログの内容を適切に理解し、実行していた。提案した学習手法についても同様に対応することができていた。コードリーディングが早い。
  • チームKuma
    • 宮澤朋也
      • (推薦理由) トークナイザーの学習方法について調査から実装まで対応してくれた。チームで人手が足りていない所を判断して、積極的に活動してくれた。データチームだけでなく、評価チームでも、最後までリードしながら頑張ってくださった。
    • 加藤純
      • (推薦理由) 技術的に難しいdmoeのhuggingface変換コードを作成してくれた。途中で並列化の方法が急遽変わったが、huggingfaceの変換コードもそれに応じたものを作ってくださった。

松尾研LLMコミュニティについて

先述の通り、Phase2の開発状況は「松尾研LLMコミュニティ」のSlackにおいてどなたでもご覧いただけます。

松尾研LLMコミュニティは、誰でも参加できLLMについて学べる場所として、様々なレベルのLLM人材の育成を目指しております。

初学者向けのイベントや、論文解説や実装を行う上級者向けのイベントを現在行っており、更なる規模拡大を計画中です。

みなさんの参加をお待ちしております！

Slack参加・及び関連リンクはこちら : https://linktr.ee/matsuolab_community