大模型LLM推理框架的vLLM应用_vllm部署大模型...

浏览 76 次 标签： 【AI实战】大模型 LLM 部署推理框架的 vLLM 应用   

设计洗衣机洗涤时间的模糊控制。_洗衣机模糊推理系统实验...

浏览 99 次 标签： 【人工智能】实验二: 洗衣机模糊推理系统实验与基础知识   

什么叫做DQ下移？_推理要用量化int8精度...

浏览 84 次 标签： AI推理工程师必备技能！    发表博客之：int8 量化 原理讲解   

在当今快速发展的人工智能领域，大型语言模型（LLMs）已成为推动自然语言处理（NLP）任务的关键力量。这些模型以其强大的理解和生成文本的能力而闻名，但同时也因其对计算资源的高需求而备受关注。vLLM作为一个创新的...

浏览 53 次 标签： 【Qwen2部署实战】部署高效AI模型：使用vLLM进行Qwen2-7B模型推理   

万字长文！AIAgent架构概况：关于推理、规划和工具调用_aiagent的推理任务编排和资源调度...

浏览 77 次 标签： 万字长文！AI Agent架构概况：关于推理、规划和工具调用   

YOLOv8项目推理从CPU到GPU；YOLOv8；从CPU到GPU。_yololv8使用gpu...

浏览 90 次 标签： YOLOv8项目推理从CPU到GPU   

NVIDIA®TensorRT™是一款用于高性能深度学习推理的SDK，包含深度学习推理优化器和运行时，可为推理应用程序提供低延迟和高吞吐量。YOLOv10是清华大学研究人员近期提出的一种实时目标检测方法...

浏览 64 次 标签： 【YOLOv10】使用 TensorRT C++ API 调用GPU加速部署 YOLOv10 实现 500FPS 推理速度——快到飞起！   

一个小小的实验记录_yolo批次推理...

浏览 54 次 标签： 【目标检测】YOLOv5多进程/多线程推理加速实验   

智谱AI刚刚开源了GLM-4大模型，套餐里面包含了GLM-4V-9B大模型，模型基于GLM-4-9B的多模态模型GLM-4V-9B。GLM-4V-9B具备1120*1120高分辨率下的中英双语多轮对话...

浏览 86 次 标签： 智谱AI GLM-4V-9B视觉大模型环境搭建&推理   

英特尔发行版OpenVINO™工具套件基于oneAPI而开发，可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件，适用于从边缘到云的各种英特尔平台上，帮助用户更快地将更准确的真实世界结果部署到生产系统中。YOLOv10是清华大学研究人员近期提出...

浏览 77 次 标签： OpenVINO技术    OpenVINO