本文介绍了在使用OpenVINO™工具套件部署AI推理时，如何利用OpenVINO™提供的多种方式去优化程序启动初次推理的响应时间，包括了使用AUTOPlugin，使用模型缓存或者说使用mmap方式读取模型。_op...

浏览 76 次 标签： 速度起飞！AI大模型用OpenVINO优化响应速度的小妙招