2024-02-26-insights

发表于 2024-02-27 更新于 2024-08-09 分类于 Arxiv-Insights 阅读次数： 0 Valine：
本文字数： 265 阅读时长 ≈ 1 分钟

Orca-Math: Unlocking the potential of SLMs in Grade School Math

orca 团队的新作，作者发现，用 Multi-agent framework 构造 200k 数据，加上一个 SFT，就能把 GSM8K top1 acc 打到 80%

作者发现，对于经典的 text embedding 提取方式，模型似乎并没有办法把后面 token 的语义考虑进前文。作者想了个简单的办法，把原始语料重复一遍，用后面那份 prefix 的 embedding。