今天足足有169篇工作，昨天是劳工节放假，所以今天是 放假 + 周二的联合
Pre-Training Multimodal Hallucination Detectors with Corrupted Grounding Data
Scale AI的工作，有趣的思路：作者认为，已有的幻觉检测方法大多是paragraph-level，说出来一整段有没有幻觉，作者想要在span-level做检测。所以作者反向构造数据：先找到一个对的数据，在所有grounding位置让LLM给出流畅的paraphrase，然后替换变成负样本。
Learning to Ask: When LLMs Meet Unclear Instruction
挺有趣的工作，作者认为：在真实场景中，用户的instruction往往有歧义、或者不明确，模型应该正确地发现歧义，或者主动在任务进程中问用户相关的信息。作者探索了在tool场景中模型能否获得这个能力
有点像组里师弟做的"tell me more"，今年的ACL工作
Training on the Benchmark Is Not All You Need
一篇检测各大公司是否把benchmark数据偷偷训进去的工作，作者的思路挺简单：瞄准多选题场景。作者觉得，如果没训进去，那选项不管怎么排布都应该概率一样。所以作者把n个选项生成了n!个变体，所有选项顺序打乱，观察模型的ppl，如果原始题目顺序的ppl是所有变体里最低的，那么就会危险。作者用这个方法观察了32个LLM，发现qwen系列的表现最为反常
只能说……难说
CRAFT Your Dataset: Task-Specific Synthetic Dataset Generation Through Corpus Retrieval and Augmentation
这篇工作有点像是mammoth2从预训练数据集中自底向上合成数据，但又不完全是：他是先找一个task，根据这个task找到最接近的free-text，然后让一个模型过来refine。所以没有最前面的fastext环节
如果一定要找的话，我觉得最像的是neubig在扩展instruction tuning数据方面的一个工作Better Synthetic Data by Retrieving and Transforming Existing Datasets……如果大家还记得我四月份推过这篇的话
