炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！
（来源：科技行者）
你有没有想过一个问题：一个大语言模型在选择题考试里拿了90分，这到底说明了什么？
大部分人的直觉反应是，这说明它掌握了这些知识。但2024年一系列研究开始戳破这个幻觉，最扎心的发现是这样的：如果你把选择题的选项顺序打乱，同一个模型、同一道题，答案可能会变。
这不是小概率事件。研究显示，把ABCD的顺序换一换，模型给出的答案经常会跟着换。也就是说，模型考90分,可能不是因为它懂这道题，而是因为它对"这道题恰好长这个样子"产生了某种条件反射。
这就好比你去检查一个学生是不是真的会做数学题,你把选项A和选项C换个位置,如果这孩子的答案也跟着变了,你会怎么想?你大概会怀疑,他压根不是在算题,而是在凭某种直觉蒙——也许他记住了"正确答案通常在第二个位置"这种规律，也许他被某个选项的措辞风格吸引了注意力。这不是知识，这是投机。
这篇来自贝尔法斯特女王大学的论文,标题叫《Accuracy and Order Sensitivity Diverge Under Label-Free Strategies》,做的就是这件事：既然选项顺序会污染我们对模型知识的判断,那有没有办法让模型在不看选项顺序的情况下作答,从根源上避免这个问题?
答案可能会让你意外:两种看似很合理的"防作弊"方案，效果都不理想。这篇论文最有价值的地方，不是告诉你哪个方法管用，而是通过一层层拆解，告诉你为什么这些看似正确的直觉，在实践中会失灵。
选择题评测，到底哪里出了问题
先说清楚背景。
多选题benchmark
*benchmark：用来衡量AI模型能力水平的标准化测试集，常见的比如MMLU、ARC-Challenge*
之所以被广泛使用，原因很简单：便宜、好打分、能自动化。你不需要雇人去评判模型的回答是否正确，机器直接对比A、B、C、D就行了。MMLU这个基准包含14042道题，横跨57个学科；ARC-Challenge是更难的一批，专门收录那些连检索算法都答不出来的科学题。
但便宜带来的代价，是评测本身可能不靠谱。
已经有多篇论文指出，模型对选项顺序异常敏感。有研究发现，仅仅重新排列选项，模型的表现就会发生显著变化。还有研究提出一个更尖锐的说法：模型可能不是在"找出正确答案"，而是在"排除最不像错的选项"——这是两种完全不同的认知过程，但产出的准确率数字可能长得一样。
这就带来一个棘手的矫正问题。如果模型的选择题成绩里混杂着"真知识"和"位置偏好"这两种成分，那么单看准确率这一个数字，你根本分不清哪部分是真本事。
已有的纠偏方法，比如循环排列（把选项轮流放在每个位置，问四遍取多数）和全排列（把所有排列方式都问一遍），确实能在一定程度上消除位置偏差，但代价是要多问k次甚至k!次,题量一大就跑不动了。还有一种叫PriDe的方法，用一个小的校准集去估算模型的位置偏好，然后从预测结果里减掉这个偏好——听起来很聪明，但它需要拿到模型的logits（也就是每个选项被选中的概率分布），而很多商业API根本不对外开放这个数据。
*logits：模型在给出最终答案前，对每个候选选项计算出的原始概率分数，用来衡量模型对每个选项的"信心"*
这就是这篇论文想解决的真正问题：能不能设计一种不需要反复问、也不需要拿到logits的方法，从提示词设计（prompt design）本身出发，让模型压根就"看不到"选项顺序，从而彻底避免这个偏差?
方案一：先让模型自由发挥，再帮它对号入座
第一个思路叫两阶段提示（Two-Stage Prompting）。
它的逻辑是这样的：如果模型的答案偏差来自"看到了ABCD的排列方式"，那我干脆先不给它看选项，只给它看问题本身，让它自由地用自己的话回答。等它说完了，我再拿着它的回答，去四个选项里找最匹配的那个。
具体流程分两步。第一步（Stage 1），模型只收到问题文本，没有任何选项，直接生成一段自由文本的答案。第二步（Stage 2），把这段自由文本连同四个选项一起交给模型（或者交给另一个匹配算法），让它判断哪个选项和这段自由文本的意思最接近。
这个思路听起来相当合理,对吧?如果模型压根没看到选项的排列顺序,它总不可能被排列顺序影响。这就好比你想测试一个人是不是真的认识某位明星,你不给他看照片墙(照片墙上明星的位置可能会诱导他随便指一个),而是先让他凭记忆描述这位明星的长相,再拿这段描述去对照片墙上找。如果他描述得清楚准确,匹配环节应该是水到渠成的事。
问题恰恰出在这个"如果"上。
论文测试了六个模型（包括GPT-4.1 mini、Gemini 2.5 Flash、两个版本的Llama 3.1 8B、两个版本的Qwen 2.5 7B）在两个benchmark上的表现，结果是：两阶段提示在12组"模型-数据集"组合里，有11组的准确率反而下降了。
这不是个小打折扣,有些情况下的跌幅相当惨烈。Gemini在MMLU上从84.9分掉到68.3分，跌了16.6个百分点；在ARC-Challenge上从96.9掉到86.6，跌了10.3个百分点。
真正戳破这个方案幻觉的,是GPT-4.1 mini这个案例。它在这个流程中一次解析失败都没有出现（也就是说，Stage 2的匹配步骤100%成功找到了一个选项），可它的准确率依然从81.8掉到了80.1。这说明问题不是"匹配没做好"这么简单，而是更深层的东西出了问题。
元股证券:ygzq.hk
问题出在哪?论文给出了一个相当有说服力的解释:很多选择题,如果不给你看选项,你压根没法回答。
想想这种题型:"以下哪一项最能描述XX现象?"这种问题本身是依赖选项存在的,它的完整语义需要靠选项来补全。如果你藏起选项只让模型凭空回答,模型给出的自由文本很可能是模糊的、不完整的,甚至压根答不到点上——不是因为它不懂这道题,而是因为这道题的提问方式本身就依赖"对照选项来确定答案范围"这个机制。
论文里做了一个特别巧妙的拆解实验，来验证这个猜想。他们设计了一个2×2的诊断网格：把"Stage 1是否给模型看选项"和"Stage 2是用LLM来匹配还是用语义相似度算法匹配"这两个维度交叉组合，得到四种配置。
这个网格用来测的关键，是把"藏选项"和"匹配方式差"这两个可能造成损失的因素分开算。结果非常清楚：当Stage 1藏起选项、Stage 2改用语义相似度算法匹配的时候，性能会暴跌。但只要把Stage 1的选项亮出来，即使Stage 2依然用简单的语义匹配算法，大部分的损失都能被找回来。GPT-4.1 mini在MMLU上从45.8分直接跳到81.7分，恢复了35.9个百分点。
这说明什么?说明真正的瓶颈,不是Stage 2的匹配算法不够聪明,而是Stage 1藏起选项这件事本身,就让很多题目变得没法回答了。
只有一种配置能稳定地打平baseline：选项在Stage 1里给模型看到，Stage 2用LLM来做匹配。但注意，这个配置已经不再是"位置无关"的了，因为选项顺序又被引入了Stage 2。也就是说，唯一效果好的方案，恰恰放弃了"不看顺序"这个初始目标。
方案二：把每个选项拆开单独审
如果Stage 1藏起选项会导致问题不完整，那有没有一种办法，既让模型看到每个选项的内容，又不让选项之间产生位置关系？
第二个方案叫独立假设评分（Independent Hypothesis Scoring）。
做法是：对每道题，模型被问k次（k是选项数量，通常是4）。每一次，模型只看到问题和一个选项，被要求给这个选项打一个0到100的分数，表示这个选项有多大可能是对的。四次打分做完之后，选分数最高的那个选项作为答案。
因为每次调用只涉及一个选项，选项之间根本没有"位置"这个概念存在——它们从来没有同时出现在同一个提示词里。这个方案从设计原理上,天然杜绝了位置偏差,不是靠事后纠正,而是从根本上让"位置"这个变量压根不存在。
这就好比给四个候选人分别做单独面试,而不是让他们四个人站成一排、面试官挨个问一遍。每个候选人被单独评估,谁站在第几个位置这件事根本无从谈起,因为他们从来没有以一个整体的形式出现过。
理论上这应该是最干净的解法。但结果又打了脸：独立假设评分在有效的11组"模型-数据集"配对里，8组的准确率是下降的。
只有一个模型是例外,本地部署的Llama 3.1 8B（论文里称Llama-local），它的准确率不但没降，反而涨了不少，尤其在ARC-Challenge上涨了14.4个百分点。
但论文接下来做的一件事特别值得说：它没有满足于"啊这个方法在这个模型上管用"就草草收场，而是去交叉验证了一下，这个涨幅到底是不是独立假设评分本身的功劳。
结果发现，不是。同样是Llama-local在ARC-Challenge上，循环排列这个完全不同的方法能让它涨到72.9分，Visible+LLM配置能涨到70.4分，独立假设评分涨到72.4分——三种毫不相关的方法，涨幅几乎一样。这说明这个模型本身有一种"容易被恢复的潜力"，不管你用什么方法去恢复它，效果都差不多。这不是某个特定方法特别聪明，而是这个模型的baseline设置得特别糟糕，随便一种干预都能把它捞回来一点。
而在MMLU上，独立假设评分给Llama-local带来的涨幅就小得多了，只有1个百分点左右，在统计噪声范围内。这进一步说明，独立假设评分的效果，是数据集本身决定的，不是这个方法本身有什么特殊的魔力。
为什么独立假设评分整体表现不佳？论文给出的解释很有意思：把选项拆开单独打分，会丢失选项之间的比较关系。
已有研究发现，模型判断一个选项是否正确，很大程度上要靠"和其他选项对比"来完成推理，单独审视一个选项，缺乏这种参照系统。这就像让你判断一件衣服贵不贵，如果只给你看这一件衣服的价签，你可能没什么概念；但如果把它和旁边三件衣服放在一起比较，你立刻就能判断出这件是贵是便宜。选项之间的相对关系，本身就是一种信息，独立打分把这种信息彻底切断了。
还有一个统计细节值得一提：独立打分经常出现平局，也就是多个选项得到了同样的最高分。这种平局率在不同模型上从6.2%到43.2%不等，本地Llama在MMLU上平局率高达43.2%，接近一半的题目模型都拿不出明确的偏好，只能靠随机数来决定选哪个。这本身就说明这种打分机制的判别力是有限的。
实盘股票配资网消除了位置偏差，不代表答案更准
论文里还有一个特别值得展开说的发现，那就是"位置敏感度"和"答案准确率"这两件事，根本就不是一回事。
为了衡量位置敏感度，论文用了两个指标。一个叫翻转率（flip rate）
*翻转率：把同一道题的选项循环换位置问四遍，看模型给出的语义答案是否发生了变化的比例*
另一个叫召回标准差（RStd）
*RStd：按照正确答案落在A、B、C、D哪个位置，把题目分成四组，分别算模型在这四组题上的正确率，再看这四个正确率之间波动有多大*
这两个指标从不同角度衡量"模型有多依赖位置"，数值越低说明模型越不受位置影响。
GPT-4.1 mini在MMLU上有一个特别讽刺的例子：用两阶段提示之后，它的翻转率从21.6%降到11.8%，几乎砍半，位置敏感度确实降低了。但同时，它的准确率也从81.8跌到了80.1。
也就是说,模型变得更"稳"了,但这份"稳"并不是靠更懂知识换来的,而是靠答不出题、随便给一个答案换来的。位置敏感度低,不代表答案对。
这个发现颠覆了一个很自然的直觉。你可能会觉得，一个不受选项排列影响的模型，一定比一个容易被排列干扰的模型更靠谱。但这篇论文用数据说明，这个推论是有漏洞的：一个模型完全可以用"变得更迷茫、更随意"的方式，来降低它对位置的敏感度，这种降低是虚假的进步。
语义匹配这个技术路径把这个悖论推到了极致：论文测试的十二组模型和数据集组合里，语义匹配的翻转率全部是0%，也就是彻底消除了位置影响。但代价是什么？准确率暴跌到三四十分的水平，比baseline掉了三四十个百分点。
*语义匹配：用一个专门训练来判断文本相似度的小模型（论文用的是all-MiniLM-L6-v2），去判断模型的自由文本回答和哪个选项在语义上最接近，不需要再调用一次大模型*
这就好比你为了防止一个学生看考场里其他人的答案而作弊,把他单独关在一个隔音的小房间里考试,确实,他再也不可能被别人的答案影响了,考试的"纯净度"达到了历史最高。但如果这个学生本来就不太会做题,单独关起来只会让他更加茫然,答得更差。消除干扰因素,不等于提升能力,这两件事的因果关系,经常被想反了。
论文还发现一个更微妙的细节，两个指标（翻转率和RStd）大部分时候是同向变化的，比如Gemini、Llama-API这些模型上，翻转率涨RStd也涨。但本地部署的Qwen 2.5 7B是个明显的反例：用两阶段提示之后，它的翻转率涨了（在MMLU上涨了5.2个百分点，在ARC上涨了12.2个百分点），但RStd反而降了（MMLU从8.06降到4.27，ARC从4.68降到3.05）。
这说明什么？说明这个模型的"整体位置公平性"（RStd衡量的是四个位置的整体正确率是否均衡）变好了，但"单题层面的稳定性"（翻转率衡量的是同一道题换个排列答案会不会变）反而变差了。这两个指标看的是不同层面的东西，一个是宏观均衡，一个是微观一致性，它们完全可以互相打架。这也提醒我们，衡量"公平"这件事，选用什么指标真的会得出不同的结论。
真正管用的老办法：循环排列
在所有测试的方法里，表现最稳的反而是最"笨"的循环排列法：把同一道题的选项轮换四种排列方式，各问一遍，取多数票作为最终答案。
这个方法在MMLU上六个模型里有五个准确率提升，在ARC-Challenge上同样是五个模型提升。综合来看，是所有被测试方法里表现最可靠的。
它为什么管用？论文的解释很朴素：多数投票本身自带一种去噪能力，即使模型受位置影响给出了不同答案，只要大多数排列下答案是稳定的，投票机制就能把这种偶发性的干扰抹平。它没有试图从原理上让模型"看不见"位置，而是承认模型会被位置影响，然后用统计手段把这个影响的平均效应削弱掉。
但循环排列也不是免费的午餐。它需要对每道题问k次（k是选项数），题库一大、模型调用成本一高，这个方法就会变得很贵。相比之下，两阶段提示只需要两次调用，独立假设评分虽然也要k次调用，但效果还比循环排列差。
论文里有一句话说得很直接：独立假设评分要的调用次数和循环排列一样多，但在11组对比里输给循环排列的有10组。这基本上宣判了独立假设评分在成本效益上是不划算的。
PriDe这个"聪明"方法，也没那么靠谱
前面提到PriDe需要拿到模型的logits，用一个校准集去估计位置偏好，再从预测里减掉这个偏好。这个方法听起来技术含量很高，但论文测试后发现，它甚至可能让准确率变得更差。
本地部署的Llama 3.1 8B在MMLU上用PriDe之后，准确率从50.2掉到44.2；在ARC-Challenge上从58.0掉到48.8。这两个跌幅都不小，说明即便有了logits这个"内部信息"的加持，纠偏这件事依然可能弄巧成拙。
这给了我们一个提醒：拥有更多的技术权限（比如访问logits），不代表你就能设计出更好的纠偏方案。方法本身的假设是否成立，比你能拿到多少数据更重要。
那这些结论到底说明了什么
把所有结果拼在一起看，这篇论文其实揭示了一个很反直觉的结论：想要消除选项顺序对模型答案的影响，和想要提升模型答案的准确率，这两件事在很多情况下是互相拉扯的，甚至是矛盾的。
这不是说消除位置偏差没有意义,恰恰相反,它的意义在于让我们知道一个模型的"真实水平"到底是多少,不掺水。但这篇论文提醒我们,消除偏差这件事,如果做得不小心,很容易变成"消除信息",而不是"消除噪音"。藏起选项、把选项拆开单独看,这些操作看似是在剔除干扰,实际上剔除掉的,可能是模型完成这道题所必需的上下文。
这就像给一场辩论赛去除"发言顺序优势"这个变量。你可以让每个人单独在一个房间里陈述观点，录下来，事后统一评判，这样确实没有人会因为先说或后说占便宜。但问题是，辩论本身的精髓恰恰在于交锋和回应，把辩手隔开单独录制，你消除的不只是顺序优势，你把辩论变成了各自陈词，这已经不是原来那件事了。
论文的作者在讨论部分提到一个对比研究，如果把MMLU-Pro和GPQA-Diamond里那些"必须靠选项才能确定答案范围"的题目筛选出来，题量会砍掉一半以上。这也就是说，大量的选择题本质上是"半成品问题"，题干本身是不完整的，完整性要靠选项来补足。这从根本上解释了为什么"藏起选项让模型先自由回答"这个思路，天然带着硬伤。
写在后面
读到这篇论文最触动我的一点，是它没有满足于"提出一个方法，证明它管用"这种研究套路，而是反过来花大量篇幅去证明"这些看起来很合理的方法，为什么不管用"。这种诚实的负面结果报告，在学术圈里其实不算主流，大部分论文都倾向于展示自己方法的优越性，而这篇论文几乎全篇都在讲"我们试了，但没成功，而且我们告诉你为什么没成功"。
最让我意外的细节是GPT-4.1 mini那个案例：解析成功率100%，但准确率还是跌了。这打破了我一个默认假设，我一直以为，只要匹配环节不出错，两阶段方法的损失就该被完全消灭。这篇论文用实打实的数据告诉我，藏起选项这件事本身就是一种信息损失，跟你后面匹配得多准没关系。
还有一个细节值得单独说一下,独立假设评分在Llama-local上涨了14.4个百分点,乍看是个漂亮的结果,但作者接着做了个交叉验证,发现循环排列和另一个配置也能给这个模型带来差不多的涨幅。这个"打自己脸"式的严谨,我觉得比那14.4个百分点本身更有价值。它提醒我们,看到一个好看的数字,先别急着归因,多问一句"如果换个完全不相关的方法,会不会也涨这么多"。
一个问题留给你想:如果消除偏差和提升准确率经常是矛盾的,那我们到底是要一个"更公平但更笨"的模型,还是一个"更聪明但带偏见"的模型?这个选择,恐怕不只是技术问题。
Q&A
Q1：两阶段提示法为什么大多数情况下会降低模型的准确率？
A：因为很多选择题的题干本身依赖选项来补全语义，藏起选项后模型难以给出完整答案，问题不在匹配环节，而在于第一阶段看不到选项本身就丢失了关键信息，实验显示只要恢复选项可见性，大部分损失都能找回来。
Q2：独立假设评分是不是完全没用？
A：不是完全没用，它从设计上彻底消除了位置偏差，在本地部署的Llama 3.1 8B上确实带来了明显提升，但整体来看八成的模型-数据集组合准确率是下降的，原因是单独打分丢失了选项之间的比较信息，而且平局率偏高，说明判别力有限。
Q3：循环排列法为什么比其他去偏差方法更靠谱？
A：因为它不依赖模型看不见选项这个假设，而是承认位置会造成干扰，然后用多次问询加多数投票的方式把偶发性偏差平均掉配资行业公司口碑，在论文测试的六个模型两个数据集组合里表现最稳定，代价是需要多次调用模型，成本更高。
实盘炒股配资网提示：本文来自互联网，不代表本网站观点。
