https://www.ai-gakkai.or.jp/about/award/jsai_award-conf
◼︎書誌情報
谷口 尚平, 原田 憲旺, 峰岸 剛基, 大島 佑太, 鄭 晟徹, 長原 豪, 飯山 燈, 鈴木 雅大, 岩澤 有祐, 松尾 豊, ADOPT: ハイパーパラメータに依存せずに最適レートで収束する適応的最適化アルゴリズムの提案, 人工知能学会全国大会論文集, 2024, JSAI2024 巻, 第38回 (2024), セッションID 4D3-GS-2-01, p. 4D3GS201.
◼︎概要
Adamに代表される適応的最適化アルゴリズムは，深層学習で広く用いられている．しかし，Adamは，ハイパーパラメータを問題に応じて選択しないと収束しないことが知られている．その非収束性を修正する研究は，AMSGradなどでいくつかなされているが，それらは勾配ノイズが一様に有界であるという強い仮定を必要とする．本稿では，ADOPTという新しい適応的最適化アルゴリズムを提案する．ADOPTは，有界ノイズの仮定なしに，任意のハイパーパラメータでO(1/√T)のミニマックス最適な収束レートを達成し，Adamの非収束性を根本的に解決することができる．実験では，ADOPTが画像分類，生成モデル，言語モデル，強化学習を含む幅広いタスクにおいて，Adamなどと比較して同等かそれ以上の性能を発揮することを示し，その有効性を検証する．
