这周二还好，不到 200 篇
On Speculative Decoding for Multimodal Large Language Models
作者探索了在 MLLM 上 (LLaVA) 使用投机推理，发现神奇的现象：用一个 language-only 小模型作为 draft model 竟然效果不错..?
所以现在的 MLLM 其实是 LLM，或者说测试的 MLLM 任务实际上是 language-info-complete 的
Compression Represents Intelligence Linearly
大家都看过那个很火的 compression for AGI 的视频，但是似乎很少人做过实验。在这里作者真的做了实验，把 bpb 指标作为横坐标，把 downstream performance 作为纵坐标测试了各家模型，发现确实如此：压缩率和模型表现几乎是维持线性在增长。
有一种骗引用的感觉：想在论文里引用 compresson for AGI 的地方就引用这篇…… 其实这个的结论在前几天唐杰老师那个 loss for emergent ability 里面做过一次了
v1.5.2