GPT-4的使用成本，竟然是GPT-3.5的50倍之多；

而让大语言模型同时处理25个请求的时间，仅是处理单个请求的2倍……

这些数据听上去可能有些出乎意料，但都是真实的。

它们出自一篇名为《大语言模型（LLM）开发者必须知道的数字》的GitHub文章。

GitHub - ray-project/llm-numbers: Numbers every LLM developer should knowNumbers every LLM developer should know. Contribute to ray-project/llm-numbers development by creating an account on GitHub.

https://github.com/ray-project/llm-numbers

目录

提示工程

40-90%：在提示词中加入“Be Concise”节约的成本

1.3：每个单词的平均token数

约50倍：GPT-4与GPT-3.5花费的比值

5倍：GPT-3.5-Turbo生成与使用OpenAI embedding的成本比

10倍：OpenAI embedding与自建embedding的成本比

6倍：微调版与基本版OpenAI模型的成本比值

1倍：自建模型是否进行微调的成本比

训练与微调

约100万美元：在1.4万亿token上训练130亿参数模型的成本

<0.001：微调与从头开始训练的成本比

GPU消耗

V100: 16GB, A10G: 24GB, A100: 40/80GB：GPU内存大小

参数量的2倍：LLM的典型GPU内存需求

约1GB：嵌入式模型的典型GPU内存需求

超过10倍：批量处理LLM请求带来的吞吐量改善

约1MB：130亿参数模型输出1个token所需的GPU内存

作者简介