2024-03-28-insights

发表于 2024-03-30 更新于 2024-08-09 分类于 Arxiv-Insights 阅读次数： Valine：
本文字数： 568 阅读时长 ≈ 1 分钟

Scaling Laws For Dense Retrieval

刘奕群老师的文章：探索了对于 dense retrieve 任务，也存在 scaling law 吗？作者用 constrastive ppl 观察曲线，发现还真是：模型参数增长、训练数据增长都是符合 scaling law 的。最后，作者探索了在固定 budget 下如何分配模型参数、训练数据，来取得最好的效果

Long-form factuality in large language models

deepmind 这两天的推特顶流论文：作者探索了 LLM 来自动检查文本中有没有事实性错误。首先把 repsonse 划分成了多个 fact，然后逐一去 google 检查正确性。作者发现，LLM 自动检查的方式和人类有 70% 一致性，对于不一致的情况，有 75% 的情况下 human 错了而 LLM 是对的。

而且，LLM 标注比 human 便宜 20 倍，最起码在这个任务上。

Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models

作者发现目前的 VLM 效果比不上 gemini 等闭源 VLM，作者认为是 1. 清晰度不够高，2.vision 推理数据太少。所以作者加了高清 encoder，并且加了 reasoning 数据，训了 2-30B 的模型，发现效果很好。

这名字取得好，然后模型开源