而在Triton+vLLM的组合中，Triton不会做任何的调度处理，而是将请求全部打给vLLM，让vLLM根据PagedAttention和异步API自行处理请求，vLLM的调度策略更适配大语言模型decode...

浏览 84 次 标签： AI模型部署：Triton+vLLM部署大模型Qwen-Chat实践