图片

今天，驱动写一个新的系列《大模子RAG实战》。上个月我在2篇著述中，先容了如何使用LlamaIndex框架，通过极少代码，已毕土产货可部署和运行的大模子RAG问答系统。咱们要开辟一个坐蓐级的系统，还需要对LlamaIndex的各个组件和工夫进行深度的贯穿、诈欺和调优。本系列将汇聚焦在如何让系统实用上，包括：常识库的经管，检索和查询效率的普及，使用土产货化部署的模子等主题。我将会素养相干的组件和工夫，辅以代码示例。最终这些著述中的代码将变成一套实用系统。

畴昔一年，大模子的发展突飞大进。月之暗面的Kimi爆火，Llama3开源发布，大模子各项身手普及之大有目共睹。

关于大模子检索增强生成（RAG）系统来说，咱们越来越果断到，其中枢不在于模子的身手，而是在于如何更好地构建和使用常识库，普及检索的效率。

 1 

常识库的三类数据

无论是企业已经个东谈主，咱们构建常识库，当然但愿高质地的数据越多越好。这些数据主要分为三类。

文献：电脑上为数繁多的文献贵寓，包括有缱绻、文稿、产物贵寓等，时时为PDF、DOCX、PPT等样式

网页：汇集的网页信息，比如咱们在微信上掀开和阅读的公众号著述。如果认为这些著述有效，会储藏起来

数据库：保存在多样数据库中的文本信息，比如企业里面的信息系统，会记载用户提议的问题与相应的责罚有缱绻

关于个东谈主用户，确立个东谈主常识库，主若是电脑上的文献贵寓和储藏的网页信息。而关于企业来说，接入和利用已有信息系统的数据库中的文本数据，也异常要津。

LlamaIndex是一个特意针对构建RAG系统开辟的开源数据框架，关于以上三类数据的处理，齐提供了很好的复旧。

 2 

数据处理的四个设施

无论是哪一类数据，LlamaIndex处理数据的过程，齐分为四步：

1）加载数据（Load）

LlamaIndex提供了繁多量据接入组件（Data Connector），不错加载文献、网页、数据库，并索取其中的文本，变成文档（Document）。改日安捷播放器16.0.3.51还将能索取图片、音频等非结构化数据。

最常用的是SimpleDirectoryReader，用来读取文献系统指定目次中的PDF、DOCX、JPG等文献。

图片

5色吧

咱们在LlamaHub上，不错找到数百个数据接入组件，用来加载多样着手与样式的数据，比如电子书epub样式文献的接入组件。

2） 调理数据（Transform）

访佛传统的ETL，调理数据是对文本数据的清洗和加工。时时，输入是文档（Document），输出是节点（Node）。

数据处理的过程，主若是将文分内割为文本块（Chunk），并通过镶嵌模子，对文本块进行镶嵌（Embedding）。同期，可索取元数据（Metadata），举例原文献的文献名和旅途。

这里有两个垂危的参数，chunk_size和chunk_overlap，诀别是文本块分割的大小，和互相之间调换的大小。咱们需要疗养这些参数，从而达到最佳的检索效率。

3）确立索引（Index）

索引是一种数据结构，以便于通过诳言语模子（LLM）来查询生成的节点。

最常使用的是向量存储索引（Vector Store Index），这种格局把每个节点（Node）的文本，逐个创建向量镶嵌（vector embeddings），不错贯穿是文本语义的一种数字编码。 

不同于传统的要津词匹配，通过向量检索，比如余弦相同度，咱们不错找到语义左近的文本，尽管在翰墨上有可能天壤之隔。

4）存储数据（Store）

默许情况下，以上操作生成的数据齐保存在内存中。要幸免每次重来，咱们需要将这些数据进行合手久化处理。

LlamaIndex 提供了内置的persisit()要领，将索引数据合手久化保存在磁盘文献中。更常见的作念法是通过索引存储器（Index Store），将索引保存在向量数据库中，如Chroma、LanceDB等。

常识库的经管，不仅要保存索引数据，也要保存通盘文档（Document）过火索取的节点（Node）。

LLamaIndex提供了文档存储器（Document Store），把这些文本数据保存在MongoDB、Redis等NoSQL数据库中，这么咱们不错对每一个节点进行增改削查。

 3 

代码已毕示例

底下荟萃代码，先容构建常识库的过程。

咱们将使用LlamaIndex来加载和调理文档和网页数据，确立向量索引，并把索引保存在Chroma，把文档和节点保存在MongoDB。

示例1：加载土产货文献

关于在土产货文献系统中的文献，LlamaIndex提供了异常便捷的要领来读取：SimpleDirectoryReader。

咱们只需要将已有的文献，放在指定的目次下，比如./data，通过这个要领就不错一谈加载该目次下的通盘文献，包括子目次中的文献。

from llama_index.core import SimpleDirectoryReaderdocuments = SimpleDirectoryReader(input_dir='./data'， recursive=True).load_data() print(f'Loaded {len(documents)} Files')

如果，咱们在常识库中上传了新的文献，还不错指定加载这个文献，而非读取通盘这个词目次。

SimpleDirectoryReader(input_files=['path/to/file1'， 'path/to/file2'])

文献加载后，LlamaIndex会逐个索取其中的文本信息，变成文档（Document）。时时一个文献对应一个文档。

示例2：加载网页信息

LlamaIndex读取和加载网页信息也很轻便。这里，咱们用到另一个器具SimpleWebPageReader。

给出一组网页的URL，咱们使用这个器具不错索取网页中的翰墨信息，并诀别加载到文档（Document）中。

pages = ['https://mp.weixin.qq.com/s/LQNWNp7nI_hI1iFpuZ9Dfw'， 'https://mp.weixin.qq.com/s/m8eI2czdXT1knX-Q20T6OQ'， 'https://mp.weixin.qq.com/s/prnDzOQ8HjUmonNp0jhRfw'， 'https://mp.weixin.qq.com/s/YB44--865vYkmUJhEv73dQ'， 'https://mp.weixin.qq.com/s/SzON91-fZgkQvzdzkXJoCA'， 'https://mp.weixin.qq.com/s/zVlKUxJ_C6GjTh0ePS-f8w'， 'https://mp.weixin.qq.com/s/gXlX_8mKnQSmI0R1me40Ag'， 'https://mp.weixin.qq.com/s/z9eV8Q8TJ4c-IhvJ1Ag34w']documents = SimpleWebPageReader(html_to_text=True).load_data( pages)print(f'Loaded {len(documents)} Web Pages')

代码中我给出的网页，是我写的《大卫说经由》系列著述。你不错改为任何你念念读取的网页。改日，你不错针对这些网页骨子来向大模子发问。

使用这个器具，咱们需要装置llama-index-readers-web和html2text组件。为了行文精真金不怕火，改日不再讲明。你不错在运行代码时左证指示，装置所需的Python库和组件。

示例3：分割数据成块

接下来，咱们通过文分内割器（Text Splitter）将加载的文档（Document）分割为多个节点（Node）。

LlamaIndex使用的默许文分内割器是SentenceSplitter。咱们不错设定文本块的大小是256，调换的大小是50。文本块越小，那么节点的数目就越多。

from llama_index.core.node_parser import SentenceSplitternodes = SentenceSplitter(chunk_size=256， chunk_overlap=50).get_nodes_from_documents(documents)print(f'Load {len(nodes)} Nodes')

之前我先容过文分内割器Spacy，对华文复旧更好。咱们不错通过Langchain引入和使用。

from llama_index.core.node_parser import LangchainNodeParserfrom langchain.text_splitter import SpacyTextSplitterspacy_text_splitter = LangchainNodeParser(SpacyTextSplitter( pipeline='zh_core_web_sm'， chunk_size = 256， chunk_overlap = 50))

示例4：数据调理管谈与常识库去重

上一步给出的数据调理要领，其实并伪善用。问题在于莫得对文档进行经管。咱们重复运行时，将会重复加载，导致常识库内重复的骨子越来越多。

为了责罚这个问题，咱们不错使用LlamaIndex提供的数据汇集管谈（Ingestion Pipeline）的功能，默许的战略为更新插入（upserts），已毕对文档进行去重处理。

from llama_index.core.ingestion import IngestionPipelinepipeline = IngestionPipeline(    transformations=[        spacy_text_splitter，        embed_model，    ]，    docstore=MongoDocumentStore.from_uri(uri=MONGO_URI)，    vector_store=chroma_vector_store，)nodes = pipeline.run(documents=documents)print(f'Ingested {len(nodes)} Nodes')

示例5：索引与存储的建立

在上头的数据汇集管谈的代码示例中，咱们建立了用来生成向量索引的镶嵌模子（embed_model），以及遴荐Chroma行为向量库，MongoDB行为文档库，对数据进行合手久化存储。

镶嵌模子的建立如下。这里咱们通过之前先容过的HugginFace的敕令行器具，将BAAI的bge-small-zh-v1.5镶嵌模子下载到土产货，放在“localmodels”目次下。

from llama_index.embeddings.huggingface import HuggingFaceEmbeddingembed_model = HuggingFaceEmbedding(model_name='./localmodels/bge-small-zh-v1.5')

然后建立向量库，Chroma将把数据存储在咱们指定的“storage”目次下。

import chromadbfrom llama_index.vector_stores.chroma import ChromaVectorStoredb = chromadb.PersistentClient(path='./storage')chroma_collection = db.get_or_create_collection('think')chroma_vector_store = ChromaVectorStore(chroma_collection=chroma_collection)

咱们不错使用Redis或MongoDB来存储处理后的文档、节点及相干信息，包括文档库（docstore）和索引信息库（index_store）。

行为示例，咱们采选在本机上装置的MongoDB。

from llama_index.core import StorageContextfrom llama_index.storage.docstore.mongodb import MongoDocumentStorefrom llama_index.storage.index_store.mongodb import MongoIndexStoreMONGO_URI = 'mongodb://localhost:27017'storage_context = StorageContext.from_defaults( docstore=MongoDocumentStore.from_uri(uri=MONGO_URI)， index_store=MongoIndexStore.from_uri(uri=MONGO_URI)， vector_store=chroma_vector_store，)

示例6：构建常识库

目下，咱们不错将此前的数据汇集管谈生成的文档和节点，载入到文档常识库中（docstore）。

storage_context.docstore.add_documents(nodes)print(f'Load {len(storage_context.docstore.docs)} documents into docstore')

这步完成后，咱们在MongoDB中，不错找到一个名为“db_docstore”的数据库，里面有三张表，诀别是：

docstore/data

docstore/metadata

docstore/ref_doc_info

咱们不错通过MongoDB，来查询相干的文档和节点，元数据以及节点之间的关系信息。

改日，当你有更多的文献和网页需要放入常识库中，只需要驯服以上的设施加载和处理。

示例7：已毕RAG问答

完成常识库的构建之后，咱们不错设定使用土产货的LLM，比如通过Ollama下载使用Gemma 2B模子。

然后，加载索引，生成查询引擎（Query Engine），你就不错针对常识库中的骨子进行发问了。

from llama_index.llms.ollama import Ollamallm_ollama = Ollama(model='gemma:2b'， request_timeout=600.0)Settings.llm = llm_ollamafrom llama_index.core import VectorStoreIndexindex = VectorStoreIndex.from_vector_store( vector_store=chroma_vector_store， )query_engine = index.as_query_engine()response = query_engine.query('经由有哪三个特征？')

以上，主要先容了使用LlamaIndex构建常识库的过程。

改日，咱们不错荟萃Streamlit、Flask等前端框架，进一步开辟成一个完善的常识库经管系统，以便对常识骨子进行合手续的增多与更新，并复旧活泼的建立文分内割的各项参数和弃取镶嵌模子。

本站仅提供存储工作，通盘骨子均由用户发布，如发现存害或侵权骨子，请点击举报。