0%

2024-02-07-insights

RAP: Retrieval-Augmented Planning with Contextual Memory for Multimodal LLM Agents

这个rap不是之前CoT+mcts那个RAP,这个讲的是如何结合MLLM Agent + RAG,或者说voyager里面用的那个"skill set"。作者发现这种简单的改进可以把ALFWorld等任务的效果提升很多

SELF-DISCOVER: Large Language Models Self-Compose Reasoning Structures

google的新工作:如果让模型首先根据问题在几种推理模式中(CoT、direct answer等)选择,然后根据选择的模式进行推理,会发生什么?作者发现这种方法比CoT的效果要好40%

什么,竟然是,in-context orca2!!

顺便还要宣传一波t4d数据集是吧……不过这个我确实觉得也挺好的,除了没人引用……

Scaling Laws for Downstream Task Performance of Large Language Models

stanford的论文:目前的研究探索了pretrain中的scaling-law。然而,finetune阶段是否也存在scaling-law呢?具体来说,pretrain资源指数增长,finetune以后得效果是不是也可以线性增长呢?

作者在翻译任务中基本证实了这个观点