随缘随笔 <br> Insights Flow

论文阅读[粗读]-ON THE UTILITY OF GRADIENT COMPRESSION IN DISTRIBUTED TRAINING SYSTEMS

发表于 2022-07-14 更新于 2024-08-09 分类于论文阅读笔记阅读次数： Valine：
本文字数： 2.9k 阅读时长 ≈ 3 分钟

MLSys 22中编译优化方向的论文都看完了，今天看一个别的主题，分布式训练。这篇文章是一篇分析性文章，讲了分布式训练中梯度压缩算法在实际场景中的效果不好，分析原因，并且提出了一个和真实场景效果接近的performance model。

发表于 2022-07-13 更新于 2024-08-09 分类于论文阅读笔记阅读次数： Valine：
本文字数： 3.6k 阅读时长 ≈ 3 分钟

我理解这篇论文就是torch.fx的论文，作者是站在设计torch.fx的角度思考“我们为什么要这么做”，把他们的一系列实现整理成了论文发了出来。

发表于 2022-07-13 更新于 2024-08-09 分类于随笔阅读次数： Valine：
本文字数： 203 阅读时长 ≈ 1 分钟

今日读两篇论文，遗憾的是，没有编译方面的。

明天就要进度同步了，show me your work! 不能这样下去了，现在就赶w

据了解，今日时隔一个月召开组会，又感觉到了上进的气息。

发表于 2022-07-13 更新于 2024-08-09 分类于论文阅读笔记阅读次数： Valine：
本文字数： 1.1k 阅读时长 ≈ 1 分钟

这篇工作是Diffusion Model关注度高起来的第二篇重要文献。在此之前，DDPM证明Diffusion model可以生成diversity，但score上，比起“专门造假”的GAN还是略显不足，但OpenAI这片新作，证明了Diffusion model有实力生成比GAN优秀的结果。

发表于 2022-07-13 更新于 2024-08-09 分类于论文阅读笔记阅读次数： Valine：
本文字数： 2k 阅读时长 ≈ 2 分钟

这篇工作其实就是有名的DALL.E 2的模型结构，只是规模是3.5B(DALL.E是12B)。本篇工作是第一个用diffusion model来做text2image任务的。

发表于 2022-07-12 更新于 2024-08-09 分类于随笔阅读次数： Valine：
本文字数： 251 阅读时长 ≈ 1 分钟

今天去北医三院看牙，来回单程只需要40min的高铁，倒是很快。应该是最后一次根管治疗，再观察一段时间就可以做牙冠了。

发表于 2022-07-11 更新于 2024-08-09 阅读次数： Valine：
本文字数： 2.1k 阅读时长 ≈ 2 分钟

陈天奇在MLSys 22发的另一篇文章，讲的是如何提高输入不对齐时的表现。

发表于 2022-07-10 更新于 2024-08-09 分类于随笔阅读次数： Valine：
本文字数： 149 阅读时长 ≈ 1 分钟

今日研读一篇编译论文，两篇AI论文，今日吃到妈妈做的蛋挞。

后天回北医三院看牙，canyon保佑。

发表于 2022-07-10 更新于 2024-08-09 阅读次数： Valine：
本文字数： 3.3k 阅读时长 ≈ 3 分钟

今天来读一篇MLSys的文章，作者提出了JIT的APOLLO框架，可以同时考虑 memory- /compute-bound 的算子优化，比XLA，TensorFlow原生要快不少。

发表于 2022-07-10 更新于 2024-08-09 分类于论文阅读笔记阅读次数： Valine：
本文字数： 3.6k 阅读时长 ≈ 3 分钟

22年ICLR outstanding paper，讲了DPM的逆过程最优均值和方差竟有解析形式？