nomic-embed-text 模型可以将文字转为数字，含义相似词汇分值也接近。可以将他们存入向量数据库，根据相似度检索拿出相关文档。

有了 Ollama 模型，部署 文本嵌入模型就一条命令

ollama pull nomic-embed-text

测试 Llama 模型

先将我们上个文章 使用 openai 和 langchain 调用自定义工具完成提问需求 里的那个使用 langchain 框架，openai 作为模型，写得 由大模型决定调用的工具（计算器），拿到工具处理结果，回答用户提问的 程序，我们将它的模型从 openai 改成 我们刚刚私有化部署的 Llama 模型。

改动地方不多，将 

chat_model = ChatOpenAI()

改成

from langchain_community.llms import Ollama

chat_model = Ollama(base_url='http://localhost:11434', model="llama3.1")code>

这样 使用 openai 和 langchain 调用自定义工具完成提问需求 完整代码的 Llama实现如下：

from langchain_community.llms import Ollama

from langchain.agents import AgentType, initialize_agent

from langchain.tools.base import BaseTool

# 定义一个自定义工具类

class Calculator(BaseTool):

name = "Calculator"

description = "运行加减乘除运算的表达式"

def _run(self, query: str):

"""Use the tool."""

# 在这里实现您的自定义函数逻辑

result = self.custom_function(query)

return result

async def _arun(self, query: str):

"""Use the tool asynchronously."""

raise NotImplementedError("This tool does not support async")

def custom_function(self, expression: str):

"""Your custom function logic goes here."""

# 示例：将输入文本转换为大写

return eval(expression)

# 创建工具实例

calculator = Calculator()

tools = [calculator]

chat_model = Ollama(base_url='http://localhost:11434', model="llama3.1")code>

# 初始化代理

agent = initialize_agent(tools, chat_model, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)

response = agent.run("计算 10*10/2")

print(response)

 看不懂可参考我的上一篇文章 使用 openai 和 langchain 调用自定义工具完成提问需求

llama3.1 模型的运行结果如下：

使用向量数据库存储私有知识库