NLP:spacy库安装与zh_core_web_sm配置
钢盔兔 2024-06-21 17:03:03 阅读 74
到公司来第一个项目竟然是偏文本信息抽取与结构化的,(也太高看我了┭┮﹏┭┮)
反正给机会了就上吧,我就一臭实习的,怕个啥。配置了两天的环境,也踩了不少坑,我把我的经历给大家分享一下:
首先确定zh_core_web_sm版本:
安装路径
(当然你可以换一个模型,我这里是以zh_core_web_sm为例,因为它下载容量小一些,不过精确率也稍微差一点,想追求效果好的可以试试zh_core_web_trf-3.7.0他是基于特征抽取器Tranformer,有想了解这方面背景故事的小伙伴可以看看这位大佬的博客:NLP12篇核心文章)
这一步非常重要,因为只有确定了他的版本号,才可以往后面去下载spacy,因为你如果后面两个版本对不上,执行代码的时候就会显示找不到zh_core_web_sm。记录你的版本号,之后按照这个博主的流程下载:下载流程。
而且注意版本最好不要太低,我一开始安装的是3.1.0的,但是后面安装spacy的时候就安装不上了(会报下面的错),最后换成3.7.0的就好了
如果后续有报错的话可以尝试加上下一步的镜像去下载,虽然不知道为什么,但是加上了确实可以解决我的问题
之后安装spacy,先在终端输入下面四行指令
(这里最好使用anconda创建一个新的虚拟环境,防止串包,因为下载的东西有点多。anconda创建切换环境)
pip install -U pip setuptools wheelpip install -U spacy==之前记录下来的版本号 pip install spacy-transformerspython3 -m spacy download zh_core_web_trf
这里直接用的话就会很慢,最好后面补充镜像去下载:
pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple
如果加上了还显示连接超时的话,可能就是公司的网络太慢了,可以连一下自己的热点试试
最后应该就好了,给一段测试代码自己试试叭:
# # coding=utf-8import spacynlp = spacy.load("zh_core_web_sm")doc = nlp("庆祝祖国生日快乐")print(doc.text)for token in doc: print(token.text, token.pos_, token.dep_)
环境到此配置的差不多了,下篇论文我们将讲解如何训练专属于我们的模型:下一篇
上一篇: 使用阿里云的oss对象存储服务实现图片上传(前端vue后端java详解)
本文标签
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。