2024-02-07-insights

发表于 2024-02-07 更新于 2024-08-09 分类于 Arxiv-Insights 阅读次数： Valine：
本文字数： 593 阅读时长 ≈ 1 分钟

RAP: Retrieval-Augmented Planning with Contextual Memory for Multimodal LLM Agents

这个 rap 不是之前 CoT+mcts 那个 RAP，这个讲的是如何结合 MLLM Agent + RAG，或者说 voyager 里面用的那个 "skill set"。作者发现这种简单的改进可以把 ALFWorld 等任务的效果提升很多

google 的新工作：如果让模型首先根据问题在几种推理模式中 (CoT、direct answer 等) 选择，然后根据选择的模式进行推理，会发生什么？作者发现这种方法比 CoT 的效果要好 40%

什么，竟然是，in-context orca2！！

顺便还要宣传一波 t4d 数据集是吧…… 不过这个我确实觉得也挺好的，除了没人引用……

stanford 的论文：目前的研究探索了 pretrain 中的 scaling-law。然而，finetune 阶段是否也存在 scaling-law 呢？具体来说，pretrain 资源指数增长，finetune 以后得效果是不是也可以线性增长呢？

作者在翻译任务中基本证实了这个观点