介绍

在本文中，我们将展示如何使用Xorbits Inference (简称Xinference) 在本地部署大型语言模型（LLM）。我们将使用Llama 2聊天模型作为示例，但代码适用于所有支持的LLM聊天模型。

步骤概述

安装Xinference启动本地模型索引数据并进行查询

安装Xinference

首先，我们需要安装Xinference。请在终端窗口中运行以下命令：

<code>pip install "xinference[all]"

安装完成后，重启您的Jupyter Notebook。然后在新的终端窗口中运行以下命令：

xinference

您应该会看到如下输出：

INFO:xinference:Xinference successfully started. Endpoint: http://127.0.0.1:9997

INFO:xinference.core.service:Worker 127.0.0.1:21561 has been added successfully

INFO:xinference.deploy.worker:Xinference worker successfully started.

在端点描述中查找端口号，在上面的例子中是9997。

接下来设置端口号：

%pip install llama-index-llms-xinference

port = 9997 # 替换为您的端口号

启动本地模型

在这一步中，我们将导入相关库并启动模型。

!pip install llama-index # 如果缺少LlamaIndex，需安装

from llama_index.core import (

SummaryIndex,

TreeIndex,

VectorStoreIndex,

KeywordTableIndex,

KnowledgeGraphIndex,

SimpleDirectoryReader

)

from llama_index.llms.xinference import Xinference

from xinference.client import RESTfulClient

from IPython.display import Markdown, display

定义客户端并启动模型：

# 定义客户端以发送命令到Xinference

client = RESTfulClient(f"http://localhost:{ port}")

# 下载并启动模型，初次可能需要等待

model_uid = client.launch_model(

model_name="llama-2-chat",code>

model_size_in_billions=7,

model_format="ggmlv3",code>

quantization="q2_K",code>

)

# 初始化Xinference对象以使用LLM

llm = Xinference(

endpoint=f"http://localhost:{ port}",

model_uid=model_uid,

temperature=0.0,

max_tokens=512,

)

索引数据并进行查询