An Empirical Study of Autoregressive Pre-training from Videos
Meta的一篇研究，如果把视频按照多图的方式tokenize完，然后直接去pretrain会怎样。作者做了一个简单粗暴的实验，大概找来了1T token的训练量，发现这种方案也有一致的scaling law，并且在scaling起来以后，效果并不差。
2025-01-10-insights
相关文章
Meta的一篇研究，如果把视频按照多图的方式tokenize完，然后直接去pretrain会怎样。作者做了一个简单粗暴的实验，大概找来了1T token的训练量，发现这种方案也有一致的scaling law，并且在scaling起来以后，效果并不差。