本地化部署Chatglm和防踩坑攻略
猿类崛起@ 2024-10-07 08:31:01 阅读 75
最近想搞点什么东西练练手，传统crud又没有意义，于是就看到了给介绍AI的文章，然后就慢慢自己摸索，从0到1，独自部署应用。
项目简介
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：
更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，* ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能*。更完整的功能支持： ChatGLM3-6B 采用了全新设计的 [Prompt 格式] ，除正常的多轮对话外。同时原生支持[工具调用]（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
环境
python
项目要求python环境最低3.10，安装完成后执行 <code>python -v查看python版本
conda
安装conda
这里我选的是miniconda，具体请自行选择[docs.conda.io/en/latest/]
安装完成使用conda -V 查看版本号即可表示安装成功
部署
先把项目拿下来
<code>git clone https://github.com/THUDM/ChatGLM3
切换到根目录，使用pip安装依赖
cd ChatGLM3
pip install -r requirements.txt
在ChatGLM3\basic_demo目录下执行命令
streamlit run web_demo_streamlit.py
第一次执行需要下载很大的模型文件，大概11g左右
特别注意，此处需要使用魔法（非国内节点），否则会报错。
启动成功后，如果你的控制台出现以下一句话就说明你使用的是cpu在运算
WARNING:root:Some parameters are on the meta device device because they were offloaded to the cpu and disk.
因为CPU跑太慢了，我们必须要使用GPU进行运算。 在web_demo_streamlit.py文件里面有这么一段代码
<code>def get_model():
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, trust_remote_code=True)
model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True, device_map="auto").eval()code>
return tokenizer, model
我们把他改造一下
def get_model():
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True,device_map="cuda").quantize(4).cuda()code>
return tokenizer, model
然后再启动我们的项目，心想美滋滋啊，终于能跑了。
但是事情没有想象中那么简单启动后还是会出现WARNING:root:Some parameters are on the meta device device because they were offloaded to the cpu and disk.
pytorch
查阅资料后发现，是因为我们的pytorch没有安装正确的版本
使用python交互模式输入
import torch as t
print(t.cuda.is_available())
print(t.__version__)
可以看到输出是False和xxx+cpu这样的数据
既然是错误的版本，那重新安装就可以了吧。 我们去到PyTorch官网根据我们的机器进行版本安装 [pytorch.org/get-started…]
cuda版本
控制台输入
<code>nvidia-smi
查看GPU信息
右边的cuda是最高支持的版本，左边是GPU驱动信息
然后根据你的驱动版本在cuda官网查看对应的cuda版本 [docs.nvidia.com/cuda/cuda-t…]
找到对应的cuda版本之后我们到
[developer.nvidia.com/cuda-toolki…]
下载你的GPU对应的版本号。
安装cuda的时候注意，这个界面只是把安装程序解压到此目录，真正的安装在后面。
这个目录cuda安装完成后会自动删除，但是还是不建议放在c盘。 等待一段时间后会出现以下窗口。
此处才是真正的cuda安装路径，还是不要放在c盘，安装过程屏幕可能会闪烁，这属于正常现象。
安装完成后控制台使用 <code>nvcc -V查看版本
ok，cuda和pytorch都安装完成了，我们测试一下能不能使用到cuda```
import torch
print(torch.cuda.is_available())
<code>
import torch
print(torch.version)
注意，笔者使用conda安装pytorch后运行出现以下情况
结果一看还是cpu版本的pytorch，不知道是什么情况，欢迎评论区指出。
再来启动一次AI，等待一段时间后会自动跳转到以下界面
此图为官网图，~~我的忘记截图了~~
我本来以为我的显卡能跑起来的，但是试了之后发现，三分钟跑一个字  右边GPU使用和显存直接爆了，风扇转得飞起，下次还是去租一个云服务器跑吧。
总结
==
虽然跑起来很吃力，但是总算是踩了几个坑跑完了了，只是有点慢（
朋友们安装pytorch的时候要注意版本以及cuda的版本对应关系，坑都是这两个比较深。
如何学习AI大模型？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
声明
本文内容仅代表作者观点，或转载于其他网站，本站不以此文作为商业用途
如有涉及侵权，请联系本站进行删除
转载本站原创文章，请注明来源及作者。