前言：大模型可以根据其主要的应领域和功能，可以分类为“文生文”（Text-to-Text）、“文生图”（Text-to-Image）和“文生视频”（Text-to-Video），都是基于自然语言处理（NLP）和计算机视觉（CV）的大模型所实现的功能。这些大模型的发展极大地推动了人工智能技术在各个领域的应用，并且随着技术的进步，未来可能会出现更多创新性的应用和服务。

一、AI大模型分类

1.1、文生文大模型(Text-to-Text)

这类模型专注于文本生成和变换任务，如回答问题、文章写作、摘要生成、新闻撰写、故事创作、翻译等。市面上经典应用包括ChatGPT、通义千问、豆包、文心一言等。

一些典型的模型包括：

  - Llama：Meta推出迄今为止能力最强的开源大模型Llama 3系列，发布8B和70B两个版本。

  -Qianwen：阿里云开源通义千问 Qwen2 大模型，Qwen2的开源旨在推动全球范围内的落地和商  业应用，并计划将Qwen2扩展为多模态模型，融入视觉和语音理解能力。

  -ChatGLM：清华开源的GLM-4-9B模型在综合能力上比ChatGLM3-6B提升了40%，并且在中文学科能力上提升了50%

  - GPT系列（如GPT-3, GPT-4）：由OpenAI开发，广泛用于生成连贯的文本。

  - Bard：由Google推出，是一个能够生成对话和文本的模型。

1.2、文生图大模型 (Text-to-Image)

这类模型能够根据给定的文字描述生成相应的图像。应用于创意设计、插图生成、游戏开发中的角色或场景生成、艺术创作等。市面上经典应用Midjoumney是一款AI制图工具，只要关键字就能通过AI算法生成相对应的图片，只需要不到一分钟。

一些典型的模型包括：

  - Stable Diffusion：一个开源的生成模型，能够根据文本生成图像。

  - Kolors：快手推出的文生图大模型，支持多种风格的图像生成。

1.3、文生视频大模型 (Text-to-Video)

这类模型可以根据文本描述生成视频内容。应用于视频制作、广告创意、教育视频生成、娱乐内容创作等。市面上经典应用Sora，​美国人工智能研究公司OpenAI发布的人工智能文生视频大模型，但OpenAI并未单纯将其视为视频模型，而是作为“世界模拟器​。

一些典型的模型包括：

Open-Sora1.0：由Colossal-AI团队开源的视频生成模型，能够从文本生成视频。

二、开源大模型总结

针对“文生图”、“文生文”和“文生视频”的分类，下面列出一些当前较为知名的开源大模型。

2.1 、开源文生文大模型

Llama :  Meta发布的开源模型，支持多种语言。Llama 是由 Meta AI 开发的一系列语言模型。稳定的版本称为 LLaMA2，特别是 LLaMA2 Long，它具有长达 32,000 个 token 的上下文窗口，并且在多项任务上显示出了超越 ChatGPT 和 Claude2 的性能。这意味着 LLaMA2 在处理长文本和需要更多上下文的任务方面更为出色。最近开源标杆Llama-3.1登上开源顶峰，但其最强的405B版本模型900多GB的内存需求，对资源构成了更加苛刻的挑战。

Qianwen：Qianwen（千问）是阿里云推出的一系列大规模预训练语言模型。这些模型可以执行多种自然语言处理任务，包括但不限于文本生成、对话管理和代码理解。它们在多个基准测试中取得了优异的成绩，并且由于是开源的，可以被广大开发者用于各种应用和服务中。

ChatGLM：ChatGLM 是智谱AI发布的一款对话模型，基于智谱AI自主研发的中英双语对话模型ChatGLM2。智谱清言具有千亿级别的参数，并且提供了丰富的文档和代码功能，允许用户根据自己的行业需求对模型进行训练和优化。智谱清言的主要功能包括但不限于内容创作、信息归纳总结、通用问答、多轮对话等。智谱AI还在持续更新和改进其模型，例如发布了GLM-4开源模型，该模型相比之前的版本有了显著的能力提升。GLM-4-9B模型在综合能力上比ChatGLM3-6B提升了40%，并且在中文学科能力上提升了50%。此外，智谱AI还提供了支持多达26种语言、最高支持达1百万tokens长文本等功能。

GPT-J: 一个基于GPT-3架构的开源模型，具有60亿参数。

GPT-NeoX: 一个拥有200亿参数的开源模型，基于GPT-3架构。

BLOOM: 一个多语言模型，支持47种语言，具有1760亿参数。

2.2、开源文生图大模型

Stable Diffusion: 一个非常流行的开源模型，能够根据文本生成高质量的图像。

Sora： Colossal-AI团队发布的开源模型，支持从文本生成图像。

Kolors:  快手可图是由快手公司基于Stable Diffusion框架开发的大规模文本到图像生成模型，在图像质量和综合评分方面表现出色。

HunyuanDiT: 腾讯开源的混元文生图模型，采用DiT架构，支持中英文输入及理解。

2.3、 开源文生视频大模型

Open-Sora1.0: Colossal-AI团队开源的模型，能够从文本生成视频。

Make-a-Video: 由Meta AI团队发布，是一个能够根据文本生成视频的模型。

2.4、 其他相关模型

RCG (Representation Conditional Generation): 由麻省理工学院和Meta合作开发的模型，能够在没有人工标注的情况下生成图像。

三、2023-2024大模型关键进展

自2022年11月30日Chat GPT发布以来， AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮 。 国内学术和产业界在过去一年也有了实质性的突破 。  大致可以分为三个阶段， 即准备期 （Chat GPT发布后国内产学研迅速形成大模型共识） 、 成长期 （国内大模型数量和质量开始逐渐增长） 、爆发期 （各行各业开 源闭源大模型层出不穷， 形成百模大战的竞争态势） 。

参考链接：

中文大模型基准测评2024年4月报告

GLM-4-9B：智谱AI推出了一个新的实力强大的小模型！

AI生图格局大震！Stable Diffusion 3开源倒计时，2B单机可跑碾压闭源Midjourney

Meta震撼发布Llama 3，一夜重回开源大模型铁王座

 大模型千问2（Qwen2）系列新产品来了

腾讯混元文生图大模型开源：Sora 同架构，更懂中文