因为8GB显卡的实际可用显存约为7500MB左右,可以满足模型在最大推理batchsize下的显存需求,同时还有一定的余量,可以保证模型能够正常运行。在部署时,需要考虑芯片的显存,是因为显存的大小限制了模型的最大批...
浏览 52 次 标签: 【pytorch】深度学习所需算力估算:flops及模型参数量