今天来读一篇MLSys的文章,作者提出了JIT的APOLLO框架,可以同时考虑 memory- /compute-bound 的算子优化,比XLA,TensorFlow原生要快不少。
论文阅读[精读]-ANALYTIC-DPM: AN ANALYTIC ESTIMATE OF THE OPTIMAL REVERSE VARIANCE IN DIFFUSION PROBABILISTIC MODELS
22年ICLR outstanding paper,讲了DPM的逆过程最优均值和方差竟有解析形式?
7-9总结
突然发现好几天没写总结了,今天写一个。
最近几天其实还挺摆的,尤其是快手那边,可以说是毫无进展,连进度同步都推迟了……好消息是我做决定了,
- 明天我上午就起床,先搞一篇编译的工作,不能再这样下去了!
- 明天下午也要肝,搞点Diffusion model看一下
论文阅读[粗读]-Minimum Bayes-Risk Decoding for Statistical Machine Translation
这篇文章是讲机器翻译的,准确来说,是解码策略。作者提到已有很多评测machine translation的方法,但已有的解码大多没有同时考虑这些方法。
本文提出的MBR方法可以:
- 根据特定的metric,解码出得分更高的候选
- 通过特定的loss函数,把语法树考虑进统计语言模型
论文阅读[精读]-Diffusion-LM Improves Controllable Text Generation(2)
7-5总结
7-4总结
昨天晚上失眠了,呆到了4点多才睡着,感觉蝉鸣好刺耳。不知道是不是咖啡的原因,确实有几天没喝咖啡了……这波是抗药性衰退
论文阅读[精读]-BOLT: BRIDGING THE GAP BETWEEN AUTO-TUNERS AND HARDWARE-NATIVE PERFORMANCE
MLSys的论文,讲了如何在auto-tuners中更好的利用硬件的信息