0%

2024-09-18-insights

Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models

挺好的视角:作者认为目前的retriever模型基本都是按照对比学习、sentence embedding相似度的方法搞,但既然base model是LLM,能不能用instruction tuning的方式,根据不同的prompt,让sentence embedding映射到不同的正负样本,进而让retriever学会让sentence embedding遵从prompt呢?作者试了试,效果实际上还挺好

最近大家好像有个趋势,把各种之前不是Generative方式的工作用GenLM的方式重做一遍,比如retreiver,比如reward model,似乎效果都不错。