系列文章目录

往期文章：

【LLM】一、利用ollama本地部署大模型

目录

文章目录

前言

一、ollama库调用

二、langchain调用 

三、requests调用

四、相关参数说明：

总结

前言

        本地部署了大模型，下一步任务便是如何调用的问题，实际场景中个人感觉用http请求的方式较为合理，本篇文章也将通过http请求的方式来调用我们本地部署的大模型，正文开始。

一、ollama库调用

参考文档：ollama的python库调用

注意，这里的ollama不是我们第一篇安装的那个Ollama！！！！不要搞混

1、环境准备：

<code>pip install ollama

2、调用示例：

     如果你都是按照默认设置安装的Ollama，即host和port等均未设置，那执行以下代码即可

import ollama

res=ollama.chat(model="phi3",stream=False,messages=[{"role": "user","content": "你是谁"}],options={"temperature":0})code>

print(res)

        返回结果如：

如果你更改了Ollama的配置，比如更改了监听端口，则执行下边代码：

<code>import ollama

host="xxx"code>

port="xxx"code>

client= ollama.Client(host=f"http://{host}:{port}")

res=client.chat(model="qwen2:1.5b",messages=[{"role": "user","content": "你是谁"}],options={"temperature":0})code>

print(res)

返回结果如：

其中，host和port改为你自己的即可

二、langchain调用