2024-01-31-insights

发表于 2024-01-31 更新于 2024-02-05 分类于 Arxiv-Insights 阅读次数： Valine：
本文字数： 216 阅读时长 ≈ 1 分钟

Transfer Learning for Text Diffusion Models

deepmind的论文，没想到2024年还有人在搞这个……作者发现了text Diffusion的一个重要问题：training from scratch很困难，不过可以从一个auto-regressive model转换过来，然后接着训练。发现通过这种方式，在一些场景中比如代码，Diffusion model的效果好于传统auto-regressive生成的方式