Pre-Trained Video Generative Models as World Simulators
之前大家一直在说,能不能用视频生成模型仿造一个世界,在里面训练policy?这篇工作仔细探索了world simluator的部分。实际上,一个好的world simluator,需要的是对于不同水平的policy,都能一致地生成内容。作者由此专门添加了loss
Distillation Scaling Laws
做了大量的实验来画出一张图:不同大小的teacher/student场景下做蒸馏,会发生什么情况呢?作者发现,蒸馏基本也是符合scaling law曲线的。这个曲线的意义在于,对于没有见过的Student和teacher,大致就可以估算出来蒸馏出来的最终loss会是多少。
WorldGUI: Dynamic Testing for Comprehensive Desktop GUI Automation
一篇GUI Agent的工作,作者发现已有的GUI工作基本都是从桌面开始,同时对应软件往往是固定的设置。这篇工作中,作者设计了一个benchmark,特点是app的状态各种各样,看看模型是否对这些情况鲁棒。
感觉现在学界挺缺少深入到专业app的数据和task的。比如ps这种软件……话说之前有个工作叫GUIWorld