ReAct Meets ActRe: Autonomous Annotations of Agent Trajectories for Contrastive Self-Training
刘洋老师的工作，在致敬之前deepmind那个”ReAct meets ReFT”，作者想到了一个神奇办法：如果我找一个后验的模型，可以看到一个action-observation以后，用一个thought来解释为什么会使用这个action，由此生成一条thought-action-obs数据。作者用这个方法随机采样很多了action-trace，然后来反向增强CoT-ReAct模型。在ALFWrold和Webshopping上取得了不错的效果。
MATHVERSE: Does Your Multi-modal LLM Truly See the Diagrams in Visual Math Problems?
很多研究发现VLM可以做几何题，但是有一个bias是几何体里面关于vision的信息其实在文本里描述过了(只看text能把原图几乎一样的画出来)。作者发现，把几何题里面的图片去掉只给文本，目前模型的acc甚至还能上涨5个点。
从这个思路出发，作者构建了一个几何题benchmark，有2k题目。每个题目根据文本模态多少的程度，设计了6个模式。作者测了一波目前的vlm，发现基本全炸了
Lexicon-Level Contrastive Visual-Grounding Improves Language Modeling
Jacob Andreas的论文，作者认为目前的PLM训练都是在比人类多很多数量级的语料上降ppl，效率很低。这是因为人类的训练是多模态原生的，模态之间能做对比学习。作者类似的模仿这个思路，找了一个(image-text)数据集，用一个锁参的clip encoder计算image embedding。然后用llm在上面训练text的ppl，并且要求前几层的hidden-state可以对齐到image embedding空间去，和别的image embedding做对比学习。发现不仅学习速度快，学习效率也很高
