北京时间4月19日凌晨，Meta在官网上官宣了Llama-3，作为继Llama1、Llama2和CodeLlama之后的第三代模型，Llama3在多个基准测试中实现了全面领先，性能优于业界同类最先进的模型，你有没有第一时间体验上呢，这篇文章就分享下如何在Groq上以超过 800 tokens/s 的魔鬼推理速度体验Llama3，会同时分享Web端、移动端、API方式以及集成到LangChain中4种体验方案。

我的新书[《LangChain编程从入门到实践》]已经开售！推荐正在学习AI应用开发的朋友购买阅读，本书围绕 LangChain 梳理了AI时代开发范式的转变，除了LangChain，还涉及其他诸如 LIamaIndex、AutoGen、AutoGPT、Semantic Kernel等热门开发框架。

[

Groq 有多快

先看两组数据

Llama3 8B 每秒钟 876 tokens 的输出速度，人眼基本跟不上模型的输出速度了，要知道 Llama3 8B 的质量与 GPT-3.5 和 Llama2 70B 相似，可以显著提升一些常见的 AI 应用场景的用户体验；RAG 的性能瓶颈不再是 LLM，而是 Retrieval，什么 HyDE（假设⽂档嵌⼊，利⽤ LLMs ⽣成假设性答案，以增强⽂档检索的准确性）、LLM 重排序器（对检索到的⽂档进⾏重排序，以优先选择最相关和上下⽂适当的信息）不再是 RAG 链路速度瓶颈…

初看数据，我以为是个噱头，本着务实的态度，我自己实际体验了一把，大家自己看 👇

结果 Llama3 70B 的实际体验结果比测评数据还高。

Groq 为什么这么快

源于 Groq 开发出了一种新的 AI 处理器 ——LPU（Language Processing Unit），其推理速度相较于英伟达 GPU 提高了 10 倍。

专业优化：LPU 专门针对语言模型推理任务进行了优化，特别是在序列处理方面。创新架构：LPU 采用了一种新的计算模式，能够高效地按顺序处理任务，而不是并行处理。软件先行：Groq 在硬件开发前就创新了软件和编译器，以确保芯片间的高效通信。内存与处理单元的整合：LPU 的设计使得数据流局部性得到更好的利用。针对性能和成本的优化：LPU 在设计时就注重了性能提升和成本降低。

4 种 Groq 体验方案

1. Web 端

无需登录，即可直接在网页版进行尝试，地址指路 👉[groq.com]，当前支持的模型有 Llama3 8B-4k 、 Llama3 70B-8k 、 Llama2 70B-8k 、 Mixtral 8X7B-32k 、 Gemma 7B-it

2. 移动端

Gorq 的 iOS 应用已经推出，目前不需要登录即可使用，通过下面的 TestFlight 安装地址：[testflight.apple.com]，支持的模型有 Llama3 8B 、 Llama3 70B 、 Llama2 70B 、 Mixtral 8X7B 、 Gemma 7B

3. API 调用

先前往这个地址 [console.groq.com/keys] 申请好 API-KEY。

安装依赖库

<code>pip install groq

调用

import os

from groq import Groq

client = Groq(

api_key=os.environ.get("GROQ_API_KEY"),

)

llm = client.chat.completions.create(

messages=[

{

"role": "user",

"content": "编写一篇中国神话故事，篇幅500～800字，必须使用中文输出",

}

],

model="llama3-70b-8192",code>

)

print(llm.choices[0].message.content)

4. LangChain 中使用