0%

2024-07-10-insights

A Single Transformer for Scalable Vision-Language Modeling

Heng Ji 老师的工作:第二个开源的 early-fusion 模型,这次作者对标的是 llava-1.5-7B。作者给出了模型设计、训练、评测,发现这样的模型尤其擅长于 visual math 场景。

SoftDedup: an Efficient Data Reweighting Method for Speeding Up Language Model Pre-training

一篇讲预训练数据选择的论文。作者这里发现,已有的方法对于语义重复的数据往往是删掉其中一个 (去重),这里作者想的是能不能降低 sample 概率。作者发现这种 soft 的去重,会比正常的去重训练数据高很多

Powered By Valine
v1.5.2