論文紹介: フォーマットの違いがLLM評価に与える影響を測る新指標「FSI」「PSI」

要点

• arXivの新着プレプリントで、プロンプトの見た目や書式の違いがモデル評価にどれだけ影響するかを扱っています。
• 著者は、正答率の振れ幅を示すFSIと、回答を機械的に解析できるかの振れ幅を示すPSIという2つの指標を提案しています。
• 7つのQAタスク、5種類のラッパー、4つの指示追従モデルを用いた大規模な生成実験に基づく内容です。

概要

この論文は、LLMの評価に使うプロンプトラッパーの書式が少し違うだけでも、スコアや結論が変わりうる点を扱っています。著者は、ラッパーの選び方で生じる正答率の幅を示すFSI、回答の解析しやすさの幅を示すPSIという2つの指標を提案しています。

要旨によると、7つのQAタスク、5種類のラッパー、4つの指示追従モデルを使って、14万件の生成結果を分析したとされています。ベンチマークの見え方が、内容そのものだけでなく書式にも左右される可能性を示す研究です。

技術的なポイント

• token-controlled protocol を用いて、書式の違いに伴うばらつきを比較しています。
• FSI は、ラッパーの違いで生じる正答率の範囲を表す指標です。
• PSI は、回答がどれだけ解析しやすいかの範囲を表す指標です。
• 複数のタスク、ラッパー、モデルをまたいで評価しており、単一条件の観察より広めの比較になっています。

実務への示唆

LLMを評価する際は、プロンプトの文面だけでなく、出力の整形ルールや解析方法も含めて確認する必要がありそうです。特に、モデル比較や社内ベンチマークの運用では、書式差が結果に与える影響を切り分けることが重要だと考えられます。

また、評価結果を共有するときは、どのラッパーを使ったのか、回答をどのように解析したのかを明示すると、比較の再現性を高めやすいとみられます。

研究上の位置づけ

この研究は、LLM評価の再現性や頑健性を考えるうえで、プロンプトの表面上の違いを定量化しようとする試みといえます。要旨の範囲では、ベンチマークの解釈に注意を促すタイプの論文として位置づけられます。

注意点

• 要旨のみが根拠であり、詳細な実験設定や追加結果は確認できません。
• 査読済みかどうかは分からず、現時点ではarXivのプレプリントとして扱うのが適切です。
• 引用数や後年の評価、実用化の有無は確認できません。

出典

Source: arXiv AI新着論文
Original title: Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking
Published: 2026-07-14 04:00:00
URL: https://arxiv.org/abs/2607.09665

※本記事は、原文の全文翻訳ではなく、公開情報をもとにした日本語要約・解説です。内容の正確性については、必ず原文もご確認ください。