2024-05-20-insights

发表于 2024-05-20 更新于 2024-08-09 分类于 Arxiv-Insights 阅读次数： Valine：
本文字数： 166 阅读时长 ≈ 1 分钟

Observational Scaling Laws and the Predictability of Language Model Performance

一篇研究 predictable scaling 的论文：作者发现把已有的 benchmark-perf 和 flop 作为两个维度进行矩阵分解，就可以得到一个准确度不错的 embedding 来进行后面的拟合