松尾研LLM開発コンペ2025を約360名(昨年の1.5倍)規模で開催

本プロジェクトは、大規模言語モデル講座の修了生を含む、松尾・岩澤研究室講座の修了生および一般公募によって集まった有志の開発者(⺠間企業・研究者・学生で構成)約360名によって構成されています。参加者は12チームに分かれ、既存の大規模言語モデル（LLM）に対して事後学習を行い推論モデル（reasoningモデル）の開発に取り組みました。

本コンペティションでは、最難関のベンチマークとされるHumanity’s Last Exam(HLE)において、オープンモデルとして最高性能（SOTA）の達成を目指すとともに、安全性評価のベンチマークであるDo-Not-Answerにおいても高水準の性能を追求します。最終的には、開発されたモデルやコード、そしてその開発過程で得られた知見を広く公開・共有する事を目的としています。

本プロジェクトは、国立研究開発法人新エネルギー・産業技術総合開発機構(以下「NEDO」)の「日本語版医療特化型LLMの社会実装に向けた安全性検証・実証」における基盤モデルの開発プロジェクトの一環として行われます。

LLM開発者を増やし、日本からイノベーションを生み出す

2つのフェーズから構成されており、
Phase1では12チームが、H100 GPU (80GB) 36基 × 約30日分という大規模な計算資源を活用し、
チームごとにコンペティション形式でモデル開発を実施。
Phase2では、Phase1の上位3チームが、追加の計算資源を用いてさらに高度なモデル開発に挑戦しました。

Phase1(予選) コンペティション結果

7月13日から8月25日にかけて行われた予選（Phase1）には、12チームが参加。
既存モデルをベースに各チームが独自の事後学習を施し、HLE・DNAの両指標で競いました。

開発チーム

順位	チーム名	リーダー	利用したベースモデル	正答率			部分点 (参考値)
				合計点	HLE	DNA	HLE	DNA
1	oNo.1	小野 克樹	DeepSeek-R1-0528	19.72	11.68	92.12	55.03	95.77
2	Pont Neuf	佐原 恭平	Qwen3-235B-A22B	19.63	11.63	91.59	37.61	98.39
3	RAMEN	鈴木 佑晨	Qwen3-235B-A22B	19.19	11.12	91.80	41.28	97.56
4	きつね	Holy-fox	DeepSeek-R1-0528	18.84	10.33	95.42	45.55	94.98
5	ねこ	本田 大明	Qwen3-235B-A22B	17.49	8.80	95.63	54.35	95.74
6	蝉時雨	渡部 泰樹	Qwen3-32BのMoE	16.57	8.48	89.35	38.31	95.56
7	朱雀	林武	Qwen3-235B-A22B	16.34	7.79	93.29	32.46	95.73
8	Camino	神野 大輔	Phi-4-reasoning-plus	15.82	6.77	97.23	51.42	97.42
9	Cogito	秋山 達彦	DeepSeek-R1-0528	14.63	6.02	92.12	47.57	96.80
10	TruthOwl	村上 元規	DeepSeek-R1-Distill-Qwen-32B	13.64	4.50	95.95	30.56	81.77
11	K.A.T.O	加藤 純	Qwen3-32B	12.77	5.51	78.06	11.83	81.72
12	Promptia	田口 昂樹	Qwen3-32B	11.62	4.03	79.87	21.16	85.42

ベースモデル自体の評価結果

ベースモデル	正答率			部分点 (参考値)
	合計点	HLE	DNA	HLE	DNA
DeepSeek-R1-0528 (max_model_len: 16384)	19.56	11.49	92.23	50.23	95.95
DeepSeek-R1-Distill-Qwen-32B	12.03	4.59	79.02	31.05	94.90
Qwen3-235B-A22B	20.67	12.60	93.29	39.63	97.69
Qwen3-32B	16.37	8.16	90.31	35.41	96.81
Phi-4-reasoning-plus	16.50	7.23	99.89	49.65	98.62

Phase2(決勝) コンペティション結果

上位3チームのRAMEN・Pont Neuf・oNo.1が決勝（Phase2）へ進出し、さらに高度なモデル開発に挑みました。
2025年10月13日（月・祝）に東京大学情報学環・福武ホールにて開催された決勝結果発表イベントにて、以下の通り最終順位を発表しました。

開発チーム

順位	チーム名	リーダー	利用したベースモデル	ハイパーパラメータ		正答率
				入出力の最大トークン長(max_model_len)	出力の最大トークン長(max_completion_len)	合計点	HLE	DNA
1	RAMEN	鈴木 佑晨	Qwen3-235B-A22B-Thinking-2507	262,144	131,072	26.328	18.58	96.06
2	Pont Neuf	佐原 恭平	Qwen3-235B-A22B-Thinking-2507	262,144	248,741	26.236	18.49	95.95
3	oNo.1	小野 克樹	Qwen3-235B-A22B-Thinking-2507	49,152	32,768	23.963	15.94	96.17

HLEカテゴリ別の評価結果

順位	チーム名	リーダー	HLE カテゴリ別
			数学 Math	物理 Physics	生物医学 Biology/Medicine	人文科学 Humanities/Social Science	計算科学/AI Computer Science/AI	工学 Engineering	化学 Chemistry	その他 Other
1	RAMEN	鈴木 佑晨	26.43	12.38	13.96	11.92	14.73	15.63	8.91	6.82
2	Pont Neuf	佐原 恭平	27.05	12.87	15.77	8.29	14.73	10.94	7.92	5.68
3	oNo.1	小野 克樹	21.21	9.41	16.57	9.84	11.61	14.06	11.88	8.52

ベースモデル自体の評価結果

ベースモデル	ハイパーパラメータ		正答率
	入出力の最大トークン長(max_model_len)	出力の最大トークン長(max_completion_len)	合計点	HLE	DNA
Qwen3-235B-A22B-Thinking-2507	262,144	131,072	25.692	17.79	96.81
Qwen3-235B-A22B-Thinking-2507	262,144	248,741	27.412	19.37	99.79
Qwen3-235B-A22B-Thinking-2507	49,152	32,768	24.116	16.17	95.63

プロジェクト成果物 / ノウハウ共有

開発の過程はすべてSlackなどに記録されています。詳細をご覧になりたい方は、
ぜひ「松尾研 LLMコミュニティ」へご参加ください。