今天是2月29日，我迎来了研究生的第二个学期。上次2月29日已经是2020年，而下次2月29日要到2028年了。人生有多少4年，再加好久没有更新，遂写一写最近的生活吧。
其实我写总结这个track，还是因为最开始看了谭院士的博客 Wandai Blog：谭院士总是时间驱动，每天写一个sentence-level的总结，陆陆续续竟然坚持了十几年。时间是有惯性的，有点类似于顺着一个人的微信刷pyq，不会到了某个位置突然被卡掉，看下来有种震撼人心的感觉。所以我也想是不是记录一下自己的生活。
我当时选了另一种形式：事件感想驱动，更大的interval, 在corpus-level做记录，所以给自己起名字叫做"随缘"。现在想想可能并不适合，我和谭院士的记录方式也许应该倒一倒。我的生活当然没有谭院士丰富，用instruction tuning的话说：每天翻来覆去总是从一些task set里先sample task \(t \in \mathcal{T}\)，再sample \(x \in \mathcal{X}_t\)，最后预测 \(y = me(x)\)。做得多了，熟能生巧，常用的几个task的能力越来越高了，但一直没什么机会探索更大更diverse的instruction空间。
不过近期确实有所不同，我深感在过去一个月里，尝试的新事物堪比过去一两年。
首先，我这学期第一次当助教了，大家可能以为是一个课的助教，但实际上是三个课的助教……这就是所谓的"半年不开张，开张吃三年"吗。助教的职责主要是帮助同学们留作业判作业，以及在群里回答同学们的疑问。最开始有一些"好为人师"的新鲜感，但很快也就过去了，剩下大致有一些"重构课程体系，提供更好的教学方式，我辈义不容辞"的责任使命感？
这学期正好轮到NLP课作业体系重构，我同时还是学堂在线Mooc的NLP课的助教，他们两个课的作业体系本来是一致的，我需要把前者重构一下。因为是研究生课，大家都是做研究的，所以我进行了一个相对激进的尝试：我尝试把作业里面的"回答问题、完成任务"式的部分去掉了，变成了鼓励选课同学们对作业框架下的知识产生一些自己的问题并进行探索。站在我的角度，我觉得要求同学们完成某个任务是一个挺反直觉的东西，大家都是AGI，应该有能力自己组织自己的学习路径，发现学习过程对自己帮助最大的东西。等过几天作业发布了，我可以也许会把重构过的内容和我的一些insight以科普blog的形式发出来。不知道大家对我的设计形式会有怎么样的评价。我猜测研究生选课大致有两种用户画像：
- 想混混了事，对NLP一点兴趣也没有，得多少分无所谓，破事多我就退课，别耽误我科研/实习/旅游……
- 我真的想学习NLP的知识，或者想通过这个课程认识老师，去跟着老师开展相关research。不关心最后得了多少分，当然分数高更好……
我觉得不管哪种，从结果出发，应该体验都还不错：我判作业给分应该是非常宽松的，实际上我希望的形式应该是大家都能把被动式的完成作业的时间换成主动探索一些自己发现的小现象，而结果上都能拿满分。
除了当助教给同学们打分，我最近还第一次尝试了审稿。说来有点可惜，人生第一次审的两篇论文，一篇给了strong-reject,一篇给了weak-reject……可能我其实是批判型人格吧。当时看到自己论文的review时有多生气，未来几天别人看我就有多生气。我不太喜欢审稿，因为需要我来总结论文里的优点和缺点。我觉得这个事情有点反直觉：大家发论文是想要对学界做贡献，所以别人会帮你去芜存真，只会关注你的主要贡献点。我认为评价一个论文应该看他最优的优点max(strength)到底有多好，而不应该是strength - weakness、甚至像”木桶效应“一样揪着最大的窟窿不放……可惜我不是管事的，只能给别人打一个reject了
年初的时候奥特曼说2030年实现AGI，我其实心里挺焦虑的：我在研究AI，如果2030年时AI被解决了，那如果我在这6年里没有贡献关键技术，岂不是整个2020-2030这10年的努力也被抹杀了吗？不过，类比一下互联网或者电器技术的发展，其实在学术上解决一个问题，到实际帮助所有用户解决这个问题，中间可能需要10年、甚至几十年的时间。在这段merge的时间里，大家实际上在做一个技术和服务相互妥协的过程：什么服务对用户很重要，但技术成本上困难所以要砍掉；什么技术很先进很scalable，但会拖累短期里的用户服务质量，就需要砍掉……妥协的结果是平衡，也大概率会是目前的基础框架下的最优形态。整个这个过程在我看来挺像是”机器学习的“，当然这里面的"forward-exploration and backward-gradient"不是某个参数的变大变小，而是某个、某几个公司的成立和消亡。在这个情境下，我们自己也是"世界模型"的其中一个参数……但谁能成为Meta发现的"Massive Activation"呢？
因此，除了技术本身以外，我最近其实也开始思考技术的落地和产品。比如，我发现了一个叫做”增量“的概念，一个产品或者说系统，最重要的是比起同类产品带给用户的增量价值，而不是这个系统本身的技术先进性。一个技术很先进的东西，可能对用户带来的服务并不好；反之，一个让用户感知很好的产品，其背后的技术不一定很先进。我作为科研或者学术背景出发，常常会受到"选论文"式的归纳偏置，关注技术创新性，而忽略了他的可行性以及增量价值。随着对于产品的调研和感悟越来越多，也许以后，除了阅读笔记以外，我还可以分享一些对于产品的感悟笔记也说不准……
夫人之相与，俯仰一世。或取诸怀抱，悟言一室之内；或因寄所托，放浪形骸之外。虽趣舍万殊，静躁不同，当其欣于所遇，暂得于己，快然自足，不知老之将至；及其所之既倦，情随事迁，感慨系之矣。向之所欣，俯仰之间，已为陈迹，犹不能不以之兴怀，况修短随化，终期于尽！古人云：“死生亦大矣。”岂不痛哉！
简单来说：下一个2月29日就是2028年了，而下一次在2月29日恰逢"疯狂星期四"更是28年以后了：不知道下个2月29日的我在干什么呢？还会在维护这个blog吗？28年以后的我还在吃疯狂星期四吗？希望那时的我，也能像今天一样喜欢探索学习自己不知道的东西，而不是像大多数人一样，随着年龄增长开始倾向于沉浸在舒适圈里变得over-confidence