2024-05-08-insights

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

前两天 deepseek 出了 2B 的 MoE 模型，今天大号的挂出来了：236B 参数，激活 21B，然后效果很好。

感觉未来一段时间各家 200B 左右的 MoE 模型都要出炉了

NaturalCodeBench: Examining Coding Performance Mismatch on HumanEval and Natural User Prompts

唐杰老师的文章，想要替代 HumanEval。作者发现，HumanEval 等传统 benchmark 中的 case 都是比较简单，脱离用户真实需求。作者就从 online service 中构建了 400 个真实 code 案例，包含多个领域。