感觉没啥好玩的，不过还是找到了一篇看起来不错的
Quantifying Uncertainty in Natural Language Explanations of Large Language Models
哈佛大学的论文，稀客呀。作者思考了这个问题：最近的 CoT 工作可以让模型引出自己的思考，以及关键的中间 token。那么如何判断这些思考是可信的呢？本篇工作提出了两个 metric: Verbalized Uncertainty，Probing Uncertainty 来衡量模型自己的不确定度。作者发现这个 metric 和真实的 faithfulness 相关性很高。
挺好玩的问题，不一定是最好玩的解法
v1.5.2