2024-10-13 09:37:02
通过docker方式实现Qwen2.5-7B-Instruct集成vllm，流式输出...
浏览 51 次 标签： 开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker-OpenResty（三）
通过docker方式实现Qwen2.5-7B-Instruct集成vllm，流式输出...
浏览 51 次 标签： 开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker-OpenResty（三）