松尾研LLM開発プロジェクトのキックオフを開催しました。

2024年3月2日（土）に、松尾研LLM開発プロジェクトのキックオフを実施しましたのでご報告いたします。

本プロジェクトは、当研究室が提供する講座の修了生および一般公募によって集まった有志の開発者のメンバーが500億パラメータサイズの大規模言語モデル開発を進めるものです。

また、開発された大規模言語モデル（LLM）の公開のみならず、開発過程の公開、そしてこれらの成果を社会全体で共有することを通じ、日本全体のLLM開発の技術レベル向上と社会実装の加速を目指します。

なお、本プロジェクトは国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）による、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」において、基盤モデル開発に必要な計算資源の提供支援を受けています。

▼参考：NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します。

▼参考：「GENIAC」プロジェクトの詳細はこちら

今回のキックオフイベントでは、総勢100名弱のメンバーがオフラインで参加。
松尾教授による本プロジェクトの紹介や、研究開発支援グループのリーダー小島武による技術支援やweblab10B開発秘話の紹介に始まり、
全7チームのリーダーに開発方針やチーム体制などについて発表していただきました。

松尾教授からは「このプロジェクトの中で、試行錯誤しながら重要であるノウハウを共有することで良いモデルを作り、開発経験を積んでもらいたい。また、このプロジェクトを通して、より多くのLLM開発者を生み出し、参加者の皆さんが様々なところで活躍してもらうのが望みだ」とのコメントがありました。

当日の様子は下記リンクよりご覧いただけますので、ご興味がありましたらご覧ください。
https://drive.google.com/file/d/11oOcj7qN5jQuNXU856acfqRpbeGPs7_2/view

また、本プロジェクトの開発進捗はコミュニティメンバーとしてどなたでも自由に閲覧可能です。下記ページにアクセスの上Slackにご参加ください。

▼松尾研LLM開発プロジェクト特設ページ