随缘随笔
Insights Flow

之前看了阿西莫夫的小说《最后的问题》，里面讲到了宇宙里最令人绝望的定律”熵增定律“。今天讲讲人工智能领域最让人绝望的规律”emergent abilities“，在结合最优传输说说我对这个现象的理解，最后聊几个有趣的话题。参考：

Emergent Abilities of Large Language Models

Can LLMs Critique and Iterate on Their Own Outputs?

压缩下一个token通向超过人类的智能

今天讲一篇很有意思的论文，如果让25个GPT假装NPC在游戏里自由生活、交流、发展会怎么样呢？

今天讲讲强化学习里的经典算法PPO，也是现在Gym库里默认的强化学习算法，最后再讲讲RLHF中的PPO算法是怎么算的。参考

Proximal Policy Optimization Algorithms

Trust Region Policy Optimization

A (Long) peek into Reinforcement Learning

今天来讲一个和方法toolformer很像的文章：如何让模型左脚踩右脚学会做题？

转眼又是一周过去了，时间过得越来越快了。今天被同学提醒：开学已经第四周了，感觉好像才开学一样。

今天openAI发布了GPT-4。直接把PaLM卷到开放API了，相信google是真的被卷麻了。

GPT4附赠了一个98页的报告(没有论文)，报告前面是性能和应用报告，中间是一些附录，最后是技术报告。我就按顺序来给大家讲讲，先讲应用报告。相信很多公众号大概都吹了一波GPT4，我希望我的讲解可以更深入一些，把问题、难点和领域更多地呈现给大家。

上次讲了多模态大模型，今天讲另一个有意思的大模型工作：toolformer——如何让大模型自己学会去使用工具。在使用工具的情况下， 6.7B的GPT J效果远胜175B的GPT 3.5

过完新年，时间过去不长，没想到NLP领域却出现了新的风暴——ChatGPT(GPT-3.5-turbo)。ChatGPT自身是instructGPT+GPT3.5的结合体，大概在去年12月，就是我得新冠那时候推出。我记得我当时还顶着高烧听n+e学长做分享，但没想到后来会到火出圈的程度。

今天来讲一篇前两天刚挂上的多模态预训练的论文,这个模型KOSMOS可以直接输入文本、图像模态的信息，也可以平滑的进行多模态的任务，甚至是智商测试。值得一提的是，模型甚至只用1.3B

看了一下，竟然已经三个月没有更新了。寒假回了家之后，那边的环境不是特别方便写笔记，但没想到返校以后，还是没有复更。

不能再这样下去了！从今天开始，恢复正常的更新频率，最少一周要有两篇阅读笔记。

最近看了“苏剑林”老师的博客科学空间。同样是论文阅读，很多论文也是我之前读过的，但感觉我的理解深度还有很多欠缺，还有很多可以深挖的地方我没有发现。

想想还是很感慨：为什么我就想不到这其中很多的细节呢。也许随着继续的、更多的阅读和学习，我也能逐渐提高我的思考深度吧。希望以后我的论文阅读笔记，也能让大家读起来能有向科学空间一样的收获感。