本文将演示如何在笔记本上运行千亿级模型，后端Koboldcpp运行在Ubuntu，前端界面使用安卓手机通过Termux且使用SillyTavern进行连接，模型使用104B的的Q4KM量化...

浏览 66 次 标签： 笔记本本地部署100b以上千亿级别LLM    并在手机端接入