随缘随笔
Insights Flow

压缩带来智能，5% 的论文决定学术界 95% 的成果！每天从 Arxiv 论文中总结分享最重要、最有趣的最多三篇论文。

Compression brings intelligence, 5% of papers determine 95% of AI technologies! Share the most important papers from Arxiv, every day, up to three!

Hybrid LLM: Cost-Efficient and Quality-Aware Query Routing

microsoft的老文章，今天挂出来：作者的思路很简单，query本身有简单有困难，对于很简单的问题其实不需要LLM，只需要small language model。能不能训练一个router，可以根据query和预期的回答质量选择llm呢？作者发现可以，并且效果还不错

这个领域感觉还挺有意思的，不知道后面有人没有更系统地做过实验。我感觉router起到的作用实际上是预测模型的知识边界？

这周虽然周二，但论文却不是很多，感觉准备憋个大的

Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone

刷榜第一人phi-3来了。3B模型，训了3T Token，由于高质量数据和合成数据，效果接近Mixtral 8x7B。另外作者还尝试了更大号的，发现效果更好

我一直感觉phi团队是不是在往外抖落OpenAI机密……

Self-Supervised Alignment with Mutual Information Learning to Follow Principles without Preference Labels

Goodman的论文，是RLHF领域的，最近挺少推这个方向的论文了。不过这篇思路挺有意思的。思路有点像之前港大的一篇self evolve的工作：输入一个query以后，先让模型生成这个query的一些可能要求作为constitution，以及生成一个response。然后让模型测试这个response是否满足要求。$P(response|query, constitution)$作为feedback，由此来对齐模型

这个事情和LeCun之前那个model as both rewarder/generator有点像。其实是把model-as-rewarder的能力蒸馏到model-as-generator里面了？

Better Synthetic Data by Retrieving and Transforming Existing Datasets

感觉今天没啥好玩的

最近Apple出了自己的30B多模态大模型，涌现出了多模态的in-context learning效果，论文里一句”even better”让我想到库克那个嗓音……作者说明了很多在训练中收获到的经验教训，这是我最近几个月看的写法最清楚的一篇论文。正好借此讲讲多模态大模型：目前学界大火的VLM，到底是怎么跑的？

最近Sora巨火，仿佛开启了AIGC的新时代。Jason Wei表示：”Sora is the GPT-2 moment” for video generation。我在sora发布的大约第5个小时读了technical report，里面最打动我的其实是没提什么细节的recaption技术。让我回想想起了之前读DALL.E 3论文时的愉快体验。

所以今天来分享一下DALL.E 3论文里的recaption细节，并讨论几个问题和我的看法：1)OpenAI教你为什么要”先查看原始数据，再做创新” 2)Recaption和大家一直在聊的”training on synthetic data”是一回事吗? 3)recaption技术是否已经在(或者即将在)被其他领域使用？

另外，我总结了一下上篇笔记阅读量大的关键：语言表达要浅显易懂些，所以这篇笔记我可以声明一下：没学过AI也能看懂(我在博客里加了这个标签”from scratch”，所有我认为不懂AI或者只知道一点点的人也能看懂的博客都会加上这个标签)

参考文献：

https://openai.com/sora

Improving Image Generation with Better Captions

Automatic Instruction Optimization for Open-source LLM Instruction Tuning

WaveCoder: Widespread And Versatile Enhanced Instruction Tuning with Refined Data Generation

Reformatted Alignment

Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling

今天是2月29日，我迎来了研究生的第二个学期。上次2月29日已经是2020年，而下次2月29日要到2028年了。人生有多少4年，再加好久没有更新，遂写一写最近的生活吧。

其实我写总结这个track，还是因为最开始看了谭院士的博客 Wandai Blog：谭院士总是时间驱动，每天写一个sentence-level的总结，陆陆续续竟然坚持了十几年。时间是有惯性的，有点类似于顺着一个人的微信刷pyq，不会到了某个位置突然被卡掉，看下来有种震撼人心的感觉。所以我也想是不是记录一下自己的生活。

我当时选了另一种形式：事件感想驱动，更大的interval, 在corpus-level做记录，所以给自己起名字叫做”随缘”。现在想想可能并不适合，我和谭院士的记录方式也许应该倒一倒。我的生活当然没有谭院士丰富，用instruction tuning的话说：每天翻来覆去总是从一些task set里先sample task $t \in \mathcal{T}$，再sample $x \in \mathcal{X}_t$，最后预测 $y = me(x)$。做得多了，熟能生巧，常用的几个task的能力越来越高了，但一直没什么机会探索更大更diverse的instruction空间。

不过近期确实有所不同，我深感在过去一个月里，尝试的新事物堪比过去一两年。

好久不更新了，看到之前大约都是15天更新一篇笔记，最近不知道咋回事竟然一个多月没更新，正好这两天刷到了”More Agents is All You Need”，就来讲讲“时间换效果”的鼻祖——self-consistency。如果让模型sample多次，然后做major-voting，效果会更好吗？

参考文献：

Self-Consistency Improves Chain of Thought Reasoning In Language Models

Escape Sky-High Cost: Early-Stopping Self-Consistency for Multi-Step Reasoning

Universal Self-Consistency for Large Language Model Generation

More Agents is All You Need

Unlock Predictable Scaling from Emergent Abilities

上次写总结还是在2023-9-29, 没想到下次再写竟已经是3个月之后了，到了2023年的最后一天。每到年末，各种APP就喜欢来个xxx年度总结：B站总结、steam总结、网易云音乐总结……不过今天看到一个”新华社年度十大新闻”觉得挺有意思，我就想，能不能给我自己也列一个”年度十大新闻”呢？