使用 NVIDIA NIM 部署生成式 AI 的简单指南

无论您是在本地还是在云端工作，NVIDIA NIM 推理微服务都可以为企业开发人员提供来自社区、合作伙伴和 NVIDIA 的易于部署的优化 AI 模型。作为 NVIDIA AI Enterprise 的一部分，NIM 提供了一条安全、简化的前进道路，可快速迭代并为世界一流的生成式 AI 解决方案构建创新。

使用单个优化容器，您可以在 5 分钟内轻松在云端或数据中心的加速 NVIDIA GPU 系统上，或在工作站和 PC 上部署 NIM。或者，如果您想避免部署容器，您可以开始使用 NVIDIA API 目录中的 NIM API 为您的应用程序制作原型。

使用预构建的容器，只需一个命令即可在任何地方的 NVIDIA 加速基础设施上进行部署。保持数据的安全性和控制力，这是您最宝贵的企业资源。通过支持使用 LoRA 等技术进行微调的模型来实现最佳准确性。利用一致的行业标准 API 集成加速 AI 推理端点。使用最流行的生成式 AI 应用程序框架，如 LangChain、LlamaIndex 和 Haystack。

本文介绍了 NVIDIA NIM 的简单 Docker 部署。您将能够在最流行的生成式 AI 应用程序框架（如 Haystack、LangChain 和 LlamaIndex）中使用 NIM 微服务 API。有关部署 NIM 的完整指南，请参阅 NIM 文档。

如何在 5 分钟内部署 NIM

在开始之前，请确保您已满足所有先决条件。遵循 NIM 文档中的要求。请注意，下载和使用 NIM 需要 NVIDIA AI Enterprise 许可证。

设置好一切后，运行以下脚本：

<code># Choose a container name for bookkeeping

export CONTAINER_NAME=meta-llama3-8b-instruct

# Choose a LLM NIM Image from NGC

export IMG_NAME="nvcr.io/nim/meta/llama3-8b-instruct:24.05"code>

# Choose a path on your system to cache the downloaded models

export LOCAL_NIM_CACHE="~/.cache/nim"code>

mkdir -p "$LOCAL_NIM_CACHE"

# Start the LLM NIM

docker run -it --rm --name=$CONTAINER_NAME \

--runtime=nvidia \

--gpus all \

-e NGC_API_KEY \

-v "$LOCAL_NIM_CACHE:/opt/nim/.cache" \

-u $(id -u) \

-p 8000:8000 \

$IMG_NAME

接下来测试一个推理请求：

curl -X 'POST' \

'http://0.0.0.0:8000/v1/completions' \

-H 'accept: application/json' \

-H 'Content-Type: application/json' \

-d '{

"model": "meta-llama3-8b-instruct",

"prompt": "Once upon a time",

"max_tokens": 64

}'

现在，您拥有一个受控、优化的生产部署，可以安全地构建生成式 AI 应用程序。

NVIDIA API 目录中还提供了 NVIDIA 托管的 NIM 示例部署。

如何将 NIM 与您的应用程序集成