AI模型规模不断剧增已是不争的事实。模型参数增长至百亿、千亿、万亿甚至十万亿，大模型在算力推动下演变为人工智能领域一场新的“军备竞赛”。这种竞赛很大程度推动了人工智能的发展，但随之而来的能耗和端侧部署问题限制了大...
阿里云百炼平台发布推文，提供30天免费算力额度，助力玩转Llama3.1训练推理。老牛同学首当其冲，去体验一把，本文详细记录了整个过程，同时给出了老牛同学的一些想法，欢迎交流学习……...
从DDPM到DDIM(三)DDPM的训练与推理前情回顾首先还是回顾一下之前讨论的成果。扩散模型的结构和各个概率模型的意义。下图展示了DDPM的双向马尔可夫模型。其中\(\mathbf{x}_T\)代表纯高斯噪声，\(\mathbf{x}_t,0<...
模型库中的每个模型都必须包含⼀个模型配置，该配置提供有关模型的必需和可选信息。）配置，使⽤当前最新的NVIDIA官⽅提供的镜像tritonserver:23.12-trtllm-python-py3，此版本镜像部...
AI人工智能深度学习算法：智能深度学习代理的推理机制作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：深度学习代理，智能决策，推理机制，神经网络，...
GPT-SoVITS是一个基于Python的开源框架，通过少量语音数据就能实现高质量的文本到语音(TTS)转换和语音克隆。它支持多语言，提供WebUI工具，注重用户隐私和数据安全，适用于语音技术、个性化语音助手、...
本文详细介绍了大模型技术栈在训练和推理中的关键框架，包括deepspeed、Megatron-LM、colossal-ai等训练框架，以及triton等推理框架。文章探讨了这些框架的特性和优势，以及如何应对内存优...
论文提出了CachedAttention，一种新的注意力机制允许在多轮对话中重用KVCache，显著减少重复计算开销从而提升推理性能。...
TensorRT是一种，可以为深度学习应用提供的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Py...
![[深度学习] 基于切片辅助超推理库SAHI优化小目标识别](/uploads/2024/07/16/1721088065866056945.webp)
AutoDetectionModel类SAHI基于AutoDetectionModel类的from_pretrained函数加载深度学习模型。目前支持YOLOv5models,MMDetectionmod...