零刻SER8 AMD 8845Hs Ryzen AI 本地部署大语言模型教程！
李佑辰 2024-06-18 08:31:02 阅读 80
零刻SER8 8845HS,配备了一个内置的 NPU（神经网络处理单元），可以通过LM Studio语言大模型来部署己的 GPT 模型 AI 聊天机器人，AI 助手已迅速成为提高生产力、效率，甚至是头脑风暴的关键资源。在本地机器上运行 AI 聊天机器人不仅不需要互联网连接，而且你的对话也保存在本地机器上。
AMD 8845Hs Ryzen AI
AI 引擎性能：最高可达 16 TOPS（每秒万亿次操作）
总处理器性能：最高可达 38 TOPS
零刻SER8 IPU默认状态为开启状态，无需再进行二次开启操作，可在设备管理器中查看相关的设备状态。
操作步骤：
1.下载LM Studio大模型部署软件，点击链接进入官网，https://lmstudio.ai/，下载Windows版本
2.下载完成后，双击进行启动进入软件界面
3.AMD官方这里提供了两个大语言模型，Mistral 7b（TheBloke/OpenHermes-2.5-Mistral-7B-GGUF）和LLAMA v2 7b（TheBloke/Llama-2-7B-Chat-GGUF），这里的7b指的是70亿参数训练出来的大模型，我们选择LLAMA v2 7b语言大模型进行下载，点击左侧搜索按钮（如果搜索提示网络报错，可查看LM Studio语言大模型部署软件搜索语言模型报错“Error searching for models ‘Network error’”解决办法）
4.在搜索栏中复制并粘贴以下搜索词：“TheBloke/Llama-2-7B-Chat-GGUF”，在右侧选择’Q4 K M’模型文件点击’Download’进行下载
5.耐心等待下载完成
6.下载完成后，点击左侧的聊天按钮，切换到聊天模式
7.点击顶部，切换刚刚下载的语言大模型包
8.等待模型加载完成就可以使用了，LLAMA v2 7b模型只支持英文，如果需要中文可以使用其他的大语言模型。
9.推荐中文语言大模型"TheBloke/openHermes-2.5-Mistral-7B-GGUF"搜索后，可在右侧选择’Q4 K M’模型文件点击’Download’进行下载
10.下载完成后，点击聊天按钮，在顶部选择大语言模型进行切换
更多其它大语言模型：
“PrunaAI/Llama3-8B-Chinese-Chat-GGUF-smashed” 来源 https://zhuanlan.zhihu.com/p/696250131
“zhouzr/Llama3-8B-Chinese-Chat-GGUF”
声明
本文内容仅代表作者观点，或转载于其他网站，本站不以此文作为商业用途
如有涉及侵权，请联系本站进行删除
转载本站原创文章，请注明来源及作者。