Zero-shot Concept Bottleneck Models
Concept model是一个挺奇怪的领域，类似于vq的退化形式，让vlm先对图片编码，再对编码根据attention，从一个大规模的向量池子里找到topk的concept做激活，最后让另一个分类头根据这些激活的concept映射到分类结果。这样子，每个concept只有激活或者不激活两种形式，所以可解释性比较好。作者提出了一套不对vlm encoder做训练的方案。
2025-02-14-insights
相关文章
Concept model是一个挺奇怪的领域，类似于vq的退化形式，让vlm先对图片编码，再对编码根据attention，从一个大规模的向量池子里找到topk的concept做激活，最后让另一个分类头根据这些激活的concept映射到分类结果。这样子，每个concept只有激活或者不激活两种形式，所以可解释性比较好。作者提出了一套不对vlm encoder做训练的方案。