近日，上海交大为大模型能够在智能手机上部署提出PowerInfer-2，该框架是专为智能手机设计且高度优化的推理框架。目前PowerInfer-2支持的最大模型是Mixtral47BMoE模型，在inferenc...
分布式LLM推理,AI集群安装教程,ubuntu22.04不编译安装python3.12,安装pip3.12,ubuntu安装分布式推理AI集群exo.本地运行分布式LLM推理离线运行exo,安装调试分布式LLM...
最近蔻享学术主办了每周一次的《概率论沉思录》读书会活动，恰好我也正在读该书中译版，通过该活动我了解到了不同学科的老师（数学/物理/统计/计算机）对这本书的不同理解，而我自己对该书的理解也在这个过程中逐渐深入了。于是准备每周都持续更新一下我的读书笔记。本书作者是...
vLLM默认并不支持纯CPU模式部署和推理模式，老牛同学应网友要求，根据vLLM官网整理vLLM在CPU模式下如何部署和推理大语音模型，并以Qwen2为了进行验证和演示……...
模型和完整仿真测试代码，放在github上参考链接。因为之前写了几篇yolov8模型部署的博文，存在两个问题：部署难度大、模型推理速度慢。该篇解决了这两个问题，且是全网部署难度最小、模型运行速度最快的部署方式。相...
AI大模型的推理过程与优化技术是一个复杂而庞大的体系，涉及多个层面的技术和策略。通过深入研究和实践这些优化技术，我们可以不断提升AI大模型的推理效率和性能，为人工智能的广泛应用奠定坚实的基础。未来，随着技术的不断进...
本文通过docker的方式搭建yolov8运行环境，并成功训练了化学仪器数据集，其中训练数据215张，验证数据65张，类别14。_yolov8docker...
MiniCPM-V2.0，这是MiniCPM系列的多模态版本。MiniCPM-V2.0显示出强⼤的OCR和多模态理解能⼒，在开源模型中的OCRBench上表现出⾊，甚⾄在场景⽂本理解上可以与GeminiPr...
毫无疑问，AI是当下最热的话题之一，而大模型又是当前AI的主角。几年前，正当深度学习进入瓶颈时，以GPT为首的LLM的横空出世让之似乎又找到了“第二增长曲线”。当模型规模大到一定程度时，它所表现出来的涌现能力（Em...
记录了“yolov8的torch模型转onnx再转rknn，并在瑞芯微RK3588上进行推理验证”的过程。_yolov8rknn...