HuggingFace的库支持自动模型（AutoModel）的模型实例化方法，来自动载入并使用GPT、ChatGLM等模型。在方法中的device_map参数，可实现单机多卡推理。_transformer多卡推理...

浏览 72 次 标签： 【大模型】Transformers库单机多卡推理之device_map