Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models
挺好的视角:作者认为目前的retriever模型基本都是按照对比学习、sentence embedding相似度的方法搞,但既然base model是LLM,能不能用instruction tuning的方式,根据不同的prompt,让sentence embedding映射到不同的正负样本,进而让retriever学会让sentence embedding遵从prompt呢?作者试了试,效果实际上还挺好
最近大家好像有个趋势,把各种之前不是Generative方式的工作用GenLM的方式重做一遍,比如retreiver,比如reward model,似乎效果都不错。