随缘随笔
Insights Flow

压缩带来智能，5% 的论文决定学术界 95% 的成果！每天从 Arxiv 论文中总结分享最重要、最有趣的最多三篇论文。

Compression brings intelligence, 5% of papers determine 95% of AI technologies! Share the most important papers from Arxiv, every day, up to three!

Trae Agent: An LLM-based Agent for Software Engineering with Test-time Scaling

trae竟然还发论文，而且是多轮rl的code agent。通过测试时的再搜索，把swe-bench刷到了75分

感觉swe bench被刷爆了呀，谁再搞个swe-hard

Phi-Ground Tech Report: Advancing Perception in GUI Grounding

phi团队出了一个小的grounding模型。整体比较开放，share不少训练的trick

Seed-Prover: Deep and Broad Reasoning for Automated Theorem Proving

一篇挺干净的工作，作者想要结合search+train搞出来一个最强的lean4证明模型。搞了一个2层的搜索系统，每次提出一堆假设，再一点点去验证。通过这种方式，把今年的IMO 6道题证出来5道

感觉分化出了两个流派。一个是像o3把一个链做长，另一派是alpha-evolve这样搞个很大的搜索树

HunyuanWorld 1.0: Generating Immersive, Explorable, and Interactive 3D Worlds from Words or Pixels

hunyuan的新工作，主要是把他们之前的3d生成、mesh-gen、t2i这些能力合版统一了，提供了3d相关的各种服务

Meta CLIP 2: A Worldwide Scaling Recipe

meta的新工作，作者解决了一个clip领域scaling的问题：在多语言数据上训练clip，在英文上的效果反而比english-only的训练要差。作者设计了receipt来解决这个问题，让clip可以从多语言训练中受益

讲道理，llm领域好像就没有这个问题，一般训得多了就是好？

Agentic Reinforced Policy Optimization

这篇工作比较有趣。大家还记得前段时间seed发布了一个，根据entropy的高低，在最高的几个地方fork出来新的rollout，来提升在high-entropy地方的采样效率的工作(First Return, Entropy-Eliciting Explore)。这篇工作，作者推广到了agent场景，发现在工具调用结束，刚看到tool-output的地方，特别容易entropy很高。所以作者复刻了这个fork方法，在fc-agent场景取得了比较高的采样效率

Kimi K2: Open Agentic Intelligence

K2 report，在twitter上火了好久，今天终于上arxiv了。作者训了个很稀疏的1TB总参数模型，在下游训了多轮的text-only agent rl。

StepFun-Prover Preview: Let’s Think and Verify Step by Step

一篇lean4模型的rl工作，但作者建模成了多轮，每轮都可以生成证明、或者refine，变成了一个类似swe-agent的形式。通过这种agent框架，把lean4的sota又往上抬了一格

半年没写论文阅读笔记，其实笔记草稿写了不少，都没转正。主要觉得像是机械的翻译，没有思想在里面，不如不发。最近大家开始陆陆续续放出来o1-like的模型了，其实翻过头看，大家的思考方式还是几年前的STaR，去年我也写过 一篇阅读笔记 介绍。

今天不妨来重新思考一下STaR，连接上跟进的几篇STaR-like的工作，谈谈我对于o1的理解吧。参考文献:

• STaR: Self-Taught Reasoner Bootstrapping Reasoning With Reasoning
• Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking
• Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models
• Training Chain-of-Thought via Latent-Variable Inference
• Rest Meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent
• Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering
• Training Language Models to Self-Correct via Reinforcement Learning

今天来讲讲Many-Shot In-Context Learning，大概是deepmind一个月前的文章，读下来和之前Jason Wei那篇"Large Models do In-Context Learning Differently"的阅读体验有点像，是一篇"暗合scaling天意"的文章。

看完了我把他和另外两篇论文联系了起来，想到了未来LLM在context重建AI的可能性。最后，推荐大家读一下原文，deepmind论文就像乐高，阅读(拼搭)体验一直很好……

参考资料：

Many-Shot In-Context Learning

Many-Shot In-Context Learning in Multimodal Foundation Models

In-Context Reinforcement Learning with Algorithm Distillation

最近Apple出了自己的30B多模态大模型，涌现出了多模态的in-context learning效果，论文里一句"even better"让我想到库克那个嗓音……作者说明了很多在训练中收获到的经验教训，这是我最近几个月看的写法最清楚的一篇论文。正好借此讲讲多模态大模型：目前学界大火的VLM，到底是怎么跑的？

最近Sora巨火，仿佛开启了AIGC的新时代。Jason Wei表示："Sora is the GPT-2 moment" for video generation。我在sora发布的大约第5个小时读了technical report，里面最打动我的其实是没提什么细节的recaption技术。让我回想想起了之前读DALL.E 3论文时的愉快体验。

所以今天来分享一下DALL.E 3论文里的recaption细节，并讨论几个问题和我的看法：1)OpenAI教你为什么要"先查看原始数据，再做创新" 2)Recaption和大家一直在聊的"training on synthetic data"是一回事吗? 3)recaption技术是否已经在(或者即将在)被其他领域使用？

另外，我总结了一下上篇笔记阅读量大的关键：语言表达要浅显易懂些，所以这篇笔记我可以声明一下：没学过AI也能看懂(我在博客里加了这个标签"from scratch"，所有我认为不懂AI或者只知道一点点的人也能看懂的博客都会加上这个标签)

参考文献：

https://openai.com/sora

Improving Image Generation with Better Captions

Automatic Instruction Optimization for Open-source LLM Instruction Tuning

WaveCoder: Widespread And Versatile Enhanced Instruction Tuning with Refined Data Generation

Reformatted Alignment

Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling

今天是2月29日，我迎来了研究生的第二个学期。上次2月29日已经是2020年，而下次2月29日要到2028年了。人生有多少4年，再加好久没有更新，遂写一写最近的生活吧。

其实我写总结这个track，还是因为最开始看了谭院士的博客 Wandai Blog：谭院士总是时间驱动，每天写一个sentence-level的总结，陆陆续续竟然坚持了十几年。时间是有惯性的，有点类似于顺着一个人的微信刷pyq，不会到了某个位置突然被卡掉，看下来有种震撼人心的感觉。所以我也想是不是记录一下自己的生活。

我当时选了另一种形式：事件感想驱动，更大的interval, 在corpus-level做记录，所以给自己起名字叫做"随缘"。现在想想可能并不适合，我和谭院士的记录方式也许应该倒一倒。我的生活当然没有谭院士丰富，用instruction tuning的话说：每天翻来覆去总是从一些task set里先sample task \(t \in \mathcal{T}\)，再sample \(x \in \mathcal{X}_t\)，最后预测 \(y = me(x)\)。做得多了，熟能生巧，常用的几个task的能力越来越高了，但一直没什么机会探索更大更diverse的instruction空间。

不过近期确实有所不同，我深感在过去一个月里，尝试的新事物堪比过去一两年。