最近医学相关的论文好多呀，标题里一堆 Medicine、Radiology 的关键词，其实我一个都没读过，不知道这个 research line 现在发展到哪一步了……
CharacterGLM: Customizing Chinese Conversational AI Characters with Large Language Models
推荐一下唐杰、黄民烈老师的工作，这个头像比上次那个老虎的好看多了……
这个工作还是黄老师的主线：对话系统。作者在 ChatGLM 的基础上训了 Character-based Dialogues 模型，可以选择 role、偏好等等。在人类实验上，作者达到了 opensource SOTA，甚至超过了大多数 close-source model，包括 GPT 系。作者开源了其中的 6B 版本
LLaMA-VID: An Image is Worth 2 Tokens in Large Language Models
作者谈到目前的 VLM 基本上是把图片编码成多个 patch-token，这里有个问题：对于 vedio，seq-length 也太长了。作者搞了简单的办法，直接把一个图片变成了 2 token，这样假如一秒一帧，甚至可以存一个 1h 的视频进去。作者在 vedio、image 等 benchmark 测试了，基本都是 SOTA
Large Language Models Suffer From Their Own Output: An Analysis of the Self-Consuming Training Loop
作者谈到，近期有一个趋势就是在模型自己生成的数据上训练，去得到一个 next-generation of model。然而，这种方法长久吗？作者设计了一系列实验，来探索这个问题。发现在初期，模型的 quality 和 diversity 会上升，但随后会下降。最终的稳定性取决于数据中真实数据的比例
让我想起了不久前的另一篇论文 Self-Consuming Generative Models Go MAD，是在 cv 领域探索这个事情
v1.5.2