2025-01-10-insights

An Empirical Study of Autoregressive Pre-training from Videos

Meta 的一篇研究，如果把视频按照多图的方式 tokenize 完，然后直接去 pretrain 会怎样。作者做了一个简单粗暴的实验，大概找来了 1T token 的训练量，发现这种方案也有一致的 scaling law，并且在 scaling 起来以后，效果并不差。