大模型相关技术的一部分记录，用到啥记啥，不关心大模型本身，可能非常混乱。
RAG Like
RAG，全称Retrieval-Augmented Generation，中文为检索增强生成；顾名思义，主要有检索器、生成器构成；大模型出现后，毫无疑问地成为了生成器的首选，现在大家在尝试一些检索的创新；在这里我们也主要关心检索部分。
A Survey of Query Optimization in Large Language Models
这篇文章对查询优化技术进行了梳理和分类，涵盖了扩展、消歧、分解和抽象四种主要方法，以此为基础，简单了解RAG的优化方向。
查询扩展：
分为内部扩展和外部扩展——内部扩展包括利用LLMs生成上下文文档、伪文档等；外部扩展则通过引入外部知识源（如Web或知识库）来补充信息。
内部扩展：如GENREAD（Yu et al., 2023a）通过提示LLMs生成上下文文档，QUERY2DOC（Wang et al., 2023b）通过生成伪文档扩展原始查询，REFEED（Yu et al., 2023b）首先生成初始输出再检索相关信息，INTER（Feng et al., 2024）通过交互式检索框架扩展查询知识，HYDE（Gao et al., 2023a）使用零样本提示生成假设文档，FLARE（Jiang et al., 2023）通过迭代预期机制优化查询。
外部扩展：如LameR（Shen et al., 2024a）通过提示LLMs生成潜在答案，GuideCQR（Park and Lee, 2024）通过初始检索文档中的关键信息细化查询，CSQE（Lei et al., 2024）通过整合语料库中的知识扩展查询，MUGI（Zhang et al., 2024b）生成多个伪参考增强稀疏和密集检索器。
问题分解：
将复杂查询分解为更简单的子查询，分别搜索相关信息后再综合响应。
如Demonstrate Search Predict（DSP）框架（Khattab et al., 2022）通过LLM和检索模型之间的复杂管道表达高层次程序，LEAST-TO-MOST（Zhou et al., 2023）通过少样本提示将复杂问题分解为一系列简单子问题，PLAN-AND-SOLVE（Wang et al., 2023a）通过计划将整个任务分解为小任务并按计划执行。