什么是LlamaIndex
LlamaIndex是一个用于LLM应用程序的数据框架，用于注入、结构化，并访问私有或特定领域的数据。
入门教程
简单使用
由于每次运行都需要构建所以比较费时，可以保存第一次的索引
检索增强生成 （RAG）
原理
文档分块
不同向量存储
查询检索上下文
使用不同LLM
不同的响应模式
流式输出响应
聊天机器人
核心概念
RAG
RAG，也称为检索增强生成，是利用个人或私域数据增强LLM的一种范式，它包含两个阶段：
1.索引
构建知识库
2.查询
从知识库检索相关上下文信息，以辅助LLM回答问题。
索引阶段
LlamaIndex 通过提供 Data connectors(数据连接器) 和 Indexes (索引) 帮助开发者构建知识库。
该阶段会用到如下工具或组件：
- Data connectors
数据连接器。它负责将来自不同数据源的不同格式的数据注入，并转换为LlamaIndex支持的文档（document）表现形势，其中包含了文本和元数据。
- documents/Nodes
document是LlamaIndex中容器的概念，它可以包含任何数据源，包括PDF文档、API响应、数据库的数据。
Node是LlamaIndex中数据的最小单元，代表了一个document的分块。它还包含了元数据以及与其他Node的关系信息。这使得更精确的检索变为可能。
- Data indexs
查询阶段
在查询阶段，RAG 管道根据的用户查询，检索最相关的上下文，并将其与查询一起，传递给 LLM，以合成响应。这使 LLM 能够获得不在其原始训练数据中的最新知识，同时也减少了虚构内容。该阶段的关键挑战在于检索、编排和基于知识库的推理。
LlamaIndex 提供可组合的模块，帮助开发者构建和集成 RAG 管道，用于问答、聊天机器人或作为代理的一部分。这些构建块可以根据排名偏好进行定制，并组合起来，以结构化的方式基于多个知识库进行推理。
该阶段的构建块包括：
- Retrievers检索器。它定义如何高效地从知识库，基于查询，检索相关上下文信息。
- Node PostprocessorsNode后处理器。它对一系列文档节点（Node）实施转换，过滤，或排名。
- Response Synthesizers响应合成器。它基于用户的查询，和一组检索到的文本块（形成上下文），利用 LLM 生成响应。
RAG管道包括：
- Query Engines查询引擎 - 端到端的管道，允许用户基于知识库，以自然语言提问，并获得回答，以及相关的上下文。
- Chat Engines聊天引擎 - 端到端的管道，允许用户基于知识库进行对话（多次交互，会话历史）。
- Agents代理。它是一种由 LLM 驱动的自动化决策器。代理可以像查询引擎或聊天引擎一样使用。主要区别在于，代理动态地决定最佳的动作序列，而不是遵循预定的逻辑。这为其提供了处理更复杂任务的额外灵活性。
Q&A模式
语义搜索
LlamaIndex 最基本的示例用法是通过语义搜索。
综述
摘要查询需要 LLM 遍历许多（如果不是大多数）文档才能合成答案。 例如，摘要查询可能如下所示：
- “这本文本集的摘要是什么？”
- “给我总结一下X在公司的经历。”
通常，摘要索引适用于此用例。默认情况下，摘要索引会遍历所有数据。
从经验上讲，设置也会导致更好的汇总结果。response_mode=“tree_summarize”