不如GPT2-chatbot
HFT: Half Fine-Tuning for Large Language Models
作者认为Finetune中的灾难性遗忘问题是因为参数更新太大了，那么直觉的想法就是：如果我只更新一部分参数，会减少这个问题吗？
这里作者尝试了两阶段的训练，一阶段更新一半的参数，发现效果不错。
有点神奇，想起之前推过的一篇很像的论文：当时是先全参数finetune，找到变得最多的一部分参数，第二轮只训这一部分。
Benchmarking Benchmark Leakage in Large Language Models
pengfei的论文，作者用ppl和n-gram的方式检测了已有的模型对于数据集的train set甚至test set是否见过。类似于之前skywork那个论文里提到的方法。
作者专门写了”training on benchmark data does not imply cheating”，求生欲极强……
Kangaroo: Lossless Self-Speculative Decoding via Double Early Exiting
华为的论文，怎么感觉华为一直在研究投机推理……我也没太看懂，看起来作者想要解决投机推理中draft model的问题，类似于之前的medusa，想要让大模型通过early exit做draft model，然后再去验证。这带来的问题就是draft model其实也挺慢的，作者就又加了一些优化。最终效果比之前medusa更好
