Qwen2-VL: Enhancing Vision-Language Model’s Perception of the World at Any Resolution
Qwen2.5-Coder Technical Report
Qwen2.5-Math Technical Report: Toward Mathematical Expert Model via Self-Improvement
昨天qwen放了2.5系列的一大堆模型:
math模型,用了self-improvement,2.5 7B就超过了2 72B。MATH直接刷到85%
code模型,光是continue training就用了5.5T token,效果果然强。
- vl模型,blog早放了,但是论文现在才挂出来。现在支持了多分辨率
看来llama3 的15t token影响了所有人呀
To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning
作者研究了多个模型在不同数据集上用CoT的效果,发现所有的提升基本都在math和symbolic场景上。在比如MMLU这样的知识题目上,除非问题里包含“=”符号,否则根本没有提升。所以作者怀疑CoT有其适用范围
我在想:会不会和cot的语义有关系,现在大家更愿意称为“scaling inference time compute”,是不是因为cot的内容不够diverse,没有涉及到“对知识场景有提升的prompt上”。