数学の問題文に猫の豆知識を混ぜるとAIのエラーが300％増加する

近年の大規模言語モデル(LLM)は、複雑な問題を段階的に解き明かす「推論モデル」の登場により、数学やコーディングの分野で目覚ましい性能向上を遂げています。しかし、その頑健性、つまり予期せぬ入力への耐性については、まだ十分に解明されていません。スタンフォード大学やCollinear AIなどの研究者チームが、「数学の問題に全く無関係な猫の情報を挿入することでLLMが混乱する」という研究結果を発表しました。

続きを読む…