最近几天在忙开题的项目,看了很多论文,感觉收获很大。上次这么集中看论文,还是在暑假刚开始的时候。感觉多读一读别人的工作就会觉得自己在做一些很有意思的研究,进而提升一些动力。
论文阅读笔记-Intrinsic-Dimension相关
讲两篇分析性文章,都是在探索任务本征维度,可以指导模型压缩、知识表示工作。方法非常简单,但是结论都能引发很多思考。
10-13总结
这两天没有前几天那么冷了,并且我换了厚被子,感觉比之前几天舒服多了,心情也跟着好了起来。
论文阅读[粗读]-BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models
这一篇工作和前两篇是另一种思路,对模型结构不做任何改变,只是在fine-tune时改变一点点参数:bias
论文阅读[粗读]-COMPACTER: Efficient Low-Rank Hypercomplex Adapter Layers
今天分享一篇上次adpter tuning的后文,进一步提升了效果、减小了参数量,发表在NeurlPS 2021上。了解这篇工作,需要先了解 Adpter Tuning笔记
论文阅读[精读]-Parameter-Efficient Transfer Learning for NLP
今天分享一篇delta tuning方向的经典论文Adpter tuning,是一篇比较早的工作,2019年的ICML。
10-11总结
不知不觉又过去了快一周。随着这学期几门课程进度的深入和作业、实验的布置,以及科研的推进,逐渐感觉到压力上来了。
10-5总结
北京没有春天和秋天的渐变,只会在冷和热中切换。这两天降温很多,瞬间从30度变成了3度。前几天还穿着短袖出门,现在已经要穿帽衫+羊绒外套了。
10-3总结
今天是十一假期的最后一天。
9-29总结
今天去参加了popping与locking的队训,读了2篇论文。