以 FastAPI server为例子， 服务使用 AsyncLLMEngine类来支持异步请求。

开启服务：

python -m vllm.entrypoints.api_server

默认接口：http://localhost:8000

默认模型：OPT-125M model

测试：

curl http://localhost:8000/generate \

-d '{

"prompt": "San Francisco is a",

"use_beam_search": true,

"n": 4,

"temperature": 0

}'

兼容 OpenAI Server

开启服务：

python -m vllm.entrypoints.openai.api_server --model facebook/opt-125m

可选参数：--host，--port

查询服务：

curl http://localhost:8000/v1/models

测试：

curl http://localhost:8000/v1/completions \

-H "Content-Type: application/json" \

-d '{

"model": "facebook/opt-125m",

"prompt": "San Francisco is a",

"max_tokens": 7,

"temperature": 0

}'

Serving

分布式推理和服务

安装依赖库：

pip install ray

多GPU推理

4块GPU推理：

from vllm import LLM

llm = LLM("facebook/opt-13b", tensor_parallel_size=4)

output = llm.generate("San Franciso is a")

使用 tensor_parallel_size 指定 GPU 数量

多GPU服务

python -m vllm.entrypoints.api_server \

--model facebook/opt-13b \

--tensor-parallel-size 4

扩展到多节点

运行vllm之前开启Ray runtime：

# On head node

ray start --head

# On worker nodes

ray start --address=<ray-head-address>

使用 SkyPilot 运行服务

安装 SkyPilot ：

pip install skypilot

sky check

serving.yaml：

resources:

accelerators: A100

envs:

MODEL_NAME: decapoda-research/llama-13b-hf

TOKENIZER: hf-internal-testing/llama-tokenizer

setup: |

conda create -n vllm python=3.9 -y

conda activate vllm

git clone https://github.com/vllm-project/vllm.git

cd vllm

pip install .

pip install gradio

run: |

conda activate vllm

echo 'Starting vllm api server...'

python -u -m vllm.entrypoints.api_server \

--model $MODEL_NAME \

--tensor-parallel-size $SKYPILOT_NUM_GPUS_PER_NODE \

--tokenizer $TOKENIZER 2>&1 | tee api_server.log &

echo 'Waiting for vllm api server to start...'

while ! `cat api_server.log | grep -q 'Uvicorn running on'`; do sleep 1; done

echo 'Starting gradio server...'

python vllm/examples/gradio_webserver.py

开启服务：

sky launch serving.yaml

其他可选参数：

sky launch -c vllm-serve-new -s serve.yaml --gpus A100:8 --env MODEL_NAME=decapoda-research/llama-65b-hf

测试：

浏览器打开：https://<gradio-hash>.gradio.live

模型

vLLM支持的模型

https://vllm.readthedocs.io/en/latest/models/supported_models.html#supported-models

添加自己的模型

本文档提供了将HuggingFace Transformers模型集成到vLLM中的高级指南。

https://vllm.readthedocs.io/en/latest/models/adding_model.html

参考

1.https://vllm.readthedocs.io/en/latest/

2.https://github.com/vllm-project/vllm

3.https://vllm.ai/

4.https://github.com/vllm-project/vllm/discussions

5.https://github.com/skypilot-org/skypilot/blob/master/llm/vllm