0%

2024-04-16-insights

这周二还好,不到200篇

On Speculative Decoding for Multimodal Large Language Models

作者探索了在MLLM上(LLaVA)使用投机推理,发现神奇的现象:用一个language-only小模型作为draft model竟然效果不错…?

所以现在的MLLM其实是LLM,或者说测试的MLLM任务实际上是 language-info-complete的

Compression Represents Intelligence Linearly

大家都看过那个很火的compression for AGI的视频,但是似乎很少人做过实验。在这里作者真的做了实验,把bpb指标作为横坐标,把downstream performance作为纵坐标测试了各家模型,发现确实如此:压缩率和模型表现几乎是维持线性在增长。

有一种骗引用的感觉:想在论文里引用compresson for AGI的地方就引用这篇……其实这个的结论在前几天唐杰老师那个loss for emergent ability里面做过一次了