项目简介：

小李哥今天将继续介绍亚马逊云科技AWS云计算平台上的前沿前沿AI技术解决方案，帮助大家快速了解国际上最热门的云计算平台亚马逊云科技AWS上的AI软甲开发最佳实践，并应用到自己的日常工作里。本次介绍的是如何在Amazon SageMaker上微调（Fine-tune）大语言模型dolly-v2-3b，满足日常生活中不同的场景需求，并将介分享如何在SageMaker上优化模型性能并节省计算资源实现成本控制，最后将部署后的大语言模型URL集成到自己云上的软件应用中。

本方案包括通过Amazon Cloudfront和S3托管前端页面，并通过Amazon API Gateway和AWS Lambda将应用程序与AI模型集成，调用大模型实现推理。本方案的解决方案架构图如下：

利用微调模型创建的对话机器人前端UI

利用本方案小李哥用微调后的模型搭建了一个Q&A对话机器人助手，可以生成代码、文字总结、回答问题。

在开始分享案例之前，我们来了解一下本方案的技术背景，帮助大家更好的理解方案架构。

什么是Amazon SageMaker？

Amazon SageMaker 是一个完全托管的机器学习服务（大家可以理解为Serverless的Jupyter Notebook），专为应用开发和数据科学家设计，帮助他们快速构建、训练和部署机器学习模型。使用 SageMaker，您无需担心底层基础设施的管理，可以专注于模型的开发和优化。它提供了一整套工具和功能，包括数据准备、模型训练、超参数调优、模型部署和监控，简化了整个机器学习工作流程。

本方案将介绍以下内容：

1. 使用 SageMaker Jupyter Notebook进行dolly-v2-3b模型开发和微调

2. 在SageMaker部署微调后的大语言模型LLM并基于数据进行推理

3. 使用多场景的测试案例验证推理结果表现，并将部署的模型API节点集成进云端应用

项目搭建具体步骤：

下面跟着小李哥手把手微调一个亚马逊云科技AWS上的生成式AI模型（dolly-v2-3b）的软件应用，并将AI大模型部署与应用集成。

1. 在控制台进入Amazon SageMaker, 点击Notebook

2. 打开Jupyter Notebook

3. 创建一个新的Notebook：“lab-notebook.ipynb”并打开

4. 接下来我们在单元格内一步一步运行代码，检查CUDA的内存状态

<code>!nvidia-smi

5.接下来，我们安装必要依赖并导入

%%capture

!pip3 install -r requirements.txt --quiet

!pip install sagemaker --quiet --upgrade --force-reinstall

%%capture

import os

import numpy as np

import pandas as pd

from typing import Any, Dict, List, Tuple, Union

from datasets import Dataset, load_dataset, disable_caching

disable_caching() ## disable huggingface cache

from transformers import AutoModelForCausalLM

from transformers import AutoTokenizer

from transformers import TextDataset

import torch

from torch.utils.data import Dataset, random_split

from transformers import TrainingArguments, Trainer

import accelerate

import bitsandbytes

from IPython.display import Markdown

6. 导入提前准备好的FAQs数据集

sagemaker_faqs_dataset = load_dataset("csv",

data_files='data/amazon_sagemaker_faqs.csv')['train']code>

sagemaker_faqs_dataset

sagemaker_faqs_dataset[0]

7. 我们定义用于模型推理的提示词格式