使用docker集成vllm实现模型推理加速，并使用Tools（工具）增强模型的能力和准确性...

浏览 93 次 标签： 开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker-Tools助力（四）   

本文探讨了评估LLM输出结果的一些技术，从人工评估到自动化评估。其中：一方面，自动化评估的时间成本效率更高，在某些情况下是非常实用的选择，例如在早期原型设计阶段。另一方面，人工评估仍然是获得模型应用准确性和实用性...

浏览 65 次 标签： 干货分享！如何评估大模型LLMs的输出质量？评估方法大盘点！   

如果你已探索过豆包Ai、Kimi、智谱清言等生成式AI工具，那么你对“prompt”（提示词）这一核心概念一定有自己的认知和理解。这里所谓的提示词，其实就是人和AI交互时的输入，是连接你与AI创意源泉的桥梁，“pro...

浏览 83 次 标签： 看这一篇就够了！（附：套用模板）    AI大模型LLM提示词不会写   

通过vLLM的Docker镜像，快速体验Qwen2-VL-7B-Instruct推理效果_qwen2-vldocker部署...

浏览 76 次 标签： 开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-vLLM+Docker（七）   

Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。，这是Ollama的官网地址：https://ollama.com/以下是其主要特点和功能概述：1简化部署：Ollama...

浏览 90 次 标签： OpenLLM灵活部署    Dify赋能应用开发    LLM大模型部署实战指南：Ollama简化流程    LocalAI本地优化   

编写符合行业规范的代码是一项重要的专业技能！_vscode代码格式化...

浏览 63 次 标签： 欲善其事    Allman花括号换行之争    参数换行    宏定义连续对齐    clang-format）    先利其器——VSCode之代码格式化（K&R    C/C++ Extension Pack   

【LLM大模型】Langchain-Chatchat源码部署测试_langchain-chatchat...

浏览 95 次 标签： 【LLM大模型】Langchain-Chatchat 源码部署测试   

​LLMs之SQL：《Text2SQLisNotEnough:UnifyingAIandDatabaseswithTAG》翻译与解读目录《Text2SQLisNotEnough:Unif...

浏览 99 次 标签： LLMs之SQL：《Text2SQL is Not Enough: Unifying AI and Databases with TAG》翻译与解读   

样本数量一般1万左右的高质量样本即可达到良好效果。对于简单任务，100-300条数据足够；中等难度任务需1000条以上；高难度任务需3000条甚至更多，可能达到10万条。样本质量样本质量优先于数量，高质量样本更有效。需...

浏览 65 次 标签： LLM：模型微调经验   

环境搭建系统环境需要Nvidia显卡，至少8G显存，且专用显存与共享显存之和大于20G建议将非安装版的环境文件都放到非系统盘，方便重装或移植以Windows11为例，非安装环境文件都放在E盘下设置自定义Path文件夹创建E:\mypath文...

浏览 55 次 标签： AI研究    AI    微调    大模型    LLM