0%

2025-02-25-insights

Fractal Generative Models

kaiming大佬的新作,其实我完全没看懂,直接搞了一套新的generative model的框架。但是作者第一次做到了可以pixel-by-pixel的生成图片,我理解这应该是第一次有人把这个setting跑起来。

感觉挺无敌的

Audio-FLAN: A Preliminary Release

现在flan这个词好像成为了sft领域数据集的代名词,其实他的原意是"finetuned language net"……这篇工作开源的是4o型的语音输入输出数据集,横跨80个不同的任务,有100M instance。

Muon is Scalable for LLM Training

kimi竟然开源了模型?虽然只是2.4B。作者用的是muon optimizer,然后发现如果把他的实现做一些微调,就可以适用于更大的模型、然后训练速度更快。作者指出,使用改进的muon optimizer,同样的budget下,效果可以更好。

Big-Math: A Large-Scale, High-Quality Math Dataset for Reinforcement Learning in Language Models

synthlab搞的一个大号MATH数据集。作者从很多开源数据集里面merge进来了不同的question,又额外搜集了很多不同的题目,最后形成了一个比MATH大十倍的数据集,而且每个题目都有可被verify的答案。

谁要是能搞个数据集,发现qwen基模rl完能在某些场景和r1比,谁就能迅速拥有1000引用……