◼︎書誌情報
冨山翔司, 山下佳威, 鈴木雅大, 落合桂一, 松尾豊
大規模画像言語モデルにおける事実性バイアスの体系的な分析
◼︎概要
本論文では，大規模視覚言語モデル（LVLM）が，”既存の事実を想起させるがその事実とは異なるような画像”に対して質問応答をする時に誤りが起こりやすいという，「事実性バイアス」に着目し，その体系的評価を目的としてFactual Bias Decomposition Dataset（FBDD）を提案する．FBDDは，色認識・記号認識・図形認識の3カテゴリを含み，それぞれでコアタスク（基礎的な性能を評価），ランダマイズタスク（ある画像の操作に対する汎化性能を評価），疑似事実タスク（既存知識を想起させるような操作に対する性能を評価）からなるタスクセットを定義する．また，モデルの既存知識の利用度合いを調整するプロンプトも備える．本データセットを用いてGPT-4など複数の最先端LVLMを評価した結果，既存知識が想起されることによる性能劣化が確かに存在すること，いくつかのLVLMでは基礎的な性能が低いこと，また，基礎的な性能の低さと事実性バイアスの生じやすさに相関があることがわかった．また，プロンプトは事実性バイアスの軽減に寄与するものの，その効果は限定的であることも確認された．本論文は，これらの知見を踏まえ，事実性バイアスの解消に向けたLVLMの開発の方向性を示す．