【Intel黑客松大赛】基于OpenVINO™ Model Optimizer + ChatGLM-6B + P-Tuning微调的AI新闻小助手

将OpenVINO™ModelOptimizer、ChatGLM-6B以及P-Tuning微调技术相结合,可以构建出一个高效、灵活且性能优异的AI新闻小助手。该助手能够利用优化后的ChatGLM-6B模型快速...

边缘计算与AI推理优化:TensorFlow Lite、OpenVINO、NVIDIA Jetson与Raspberry Pi 的应用与比较

边缘计算(EdgeComputing)是一种分布式计算架构,它将计算、存储和数据处理任务从数据中心或云计算平台移动到数据产生的地点,即“边缘”设备上。边缘计算常用于需要实时数据处理的应用场景,比如智能城市、自动驾驶...

基于Qwen-Agent与OpenVINOTM构建本地AI智能体

AI智能体作为通用人工智能的核心载体,可以模仿人类的思维逻辑,将复杂任务进行拆解,并借助外部工具解决任务。通过利用OpenVINOTM和Qwen-Agent这样的工具,我们可以非常快捷地在本地构建一个AI智能体应用,在...

模型压缩与优化:使用 Anomalib 与 OpenVINO™ 构建并优化异常检测 AI 应用

学习如何构建用于AI推理解决方案的计算机视觉和异常检测应用程序。使用开源的Anomalib库进行无监督学习,并处理不平衡数据集,以便实时处理罕见的缺陷问题,在制造业、医疗保健、农业等领域提高质量控制水平。此外,...

【OpenVINO™】YOLOv10在CPU上也能实现50+FPS推理—使用OpenVINO C++部署YOLOv10

英特尔发行版OpenVINO™工具套件基于oneAPI而开发,可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件,适用于从边缘到云的各种英特尔平台上,帮助用户更快地将更准确的真实世界结果部署到生产系统中。YOLOv10是清华大学研究人员近期提出...

使用OpenVINO™在你的AI PC上离线运行Llama3之快手指南

点击蓝字关注我们,让开发变得更有趣作者|武卓博士英特尔OpenVINO布道师排版|李擎使用OpenVINO™在你的AIPC上离线运行Llama3之快手指南在人工智能领域,大型语言模型(LLMs)的发展速度令人震...

速度起飞!AI大模型用OpenVINO优化响应速度的小妙招

本文介绍了在使用OpenVINO™工具套件部署AI推理时,如何利用OpenVINO™提供的多种方式去优化程序启动初次推理的响应时间,包括了使用AUTOPlugin,使用模型缓存或者说使用mmap方式读取模型。_op...