2024-09-25-insights

发表于 2024-09-25 更新于 2024-10-06 分类于 Arxiv-Insights 阅读次数： Valine：
本文字数： 233 阅读时长 ≈ 1 分钟

In-Context Learning May Not Elicit Trustworthy Reasoning: A-Not-B Errors in Pretrained Language Models

挺有趣的工作：作者发现，大家本以为 in-context 会交给模型怎么处理接近的问题，结果模型可能会学到一个捷径，而不是如何推理。作者尝试让 in-context 样本里都选 A，结果发现模型就会学着去永远选 A。

所以这也可以用 "回路竞争" 的视角去理解吗？推理回路最终在 "选 A 捷径回路" 里败下阵来