这周论文好像总体都不多，大家是不是开 ACL 去了兴致缺缺
LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs
唐杰老师的文章，立足点很好：作者发现目前的模型虽然 input length 达到了 100k，但是输出长度几乎都是最大 2k。作者设计了一套 agent pipeline，可以把要求长输出的 input 变成多个 subtask，然后合成出来很长的输出数据。作者用这个方法构造了 6000 条输出的 SFT 数据，让模型学会了输出 10000 token 的能力
这个问题，似乎几年前叫做 explosure bias。现在好像没人提了……
v1.5.2