目录

更大规模的语言模型

多模态输入

多任务输出

性能表现

github:GitHub - OpenGVLab/InternVL: [CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的可商用开源多模态对话模型

论文：https://arxiv.org/pdf/2404.16821（还是internvl1.5）

我们介绍了InternVL2，这是目前最强大的开源多模态大语言模型（MLLM）。InternVL2家族包括从适合边缘设备的1B模型到显著更强大的108B模型。通过更大规模的语言模型，InternVL2-Pro展示了出色的多模态理解能力，在各种基准测试中表现与商业闭源模型相当。

InternVL2家族基于以下设计理念：

更大规模的语言模型

我们引入了一种渐进对齐训练策略，首次实现了与大语言模型原生对齐的视觉基础模型。通过这种从小到大、从粗到细的渐进训练策略，我们在相对低成本下完成了大模型的训练。这种方法在有限资源下表现出色。

多模态输入

我们的模型支持多种模态的输入，包括文本、图像、视频和医疗数据，只需一组参数即可实现。

多任务输出

借助我们最近的工作VisionLLMv2，我们的模型支持多种输出格式，如图像、边界框和掩码，展示了广泛的多功能性。通过将MLLM与多个下游任务解码器连接，InternVL2能够推广到数百个视觉语言任务，并实现与专家模型相当的性能。

性能表现

InternVL2在处理复杂多模态数据方面展示了强大的能力，尤其在数学、科学图表、通用图表、文档、信息图和OCR任务中表现出色。例如，在MathVista基准测试中，InternVL2达到了66.3%的准确率，显著超越了其他闭源商业模型和开源模型。此外，InternVL2在多个基准测试中达到了最先进的性能，包括通用图表基准测试ChartQA、文档基准测试DocVQA、信息图基准测试InfographicVQA以及通用视觉问答基准测试MMBench。

值得注意的是，在AI2D基准测试中有两种评估设置。在第一种设置中，我们将图像中矩形内的内容替换为选项的字母。在第二种设置中，我们将矩形内的内容替换为选项的字母和数值。我们的模型在第一种设置中达到了87.3的性能，在第二种设置中达到了96.0的性能。

专有模型

我们同时使用InternVL和VLMEvalKit仓库进行模型评估。具体来说，AI2D、ChartQA、DocVQA、InfoVQA和MMBench的结果是使用InternVL仓库测试的。MathVista和OCRBench的评估则使用了VLMEvalKit。

对于MMMU，我们报告了原始分数（左侧：使用InternVL代码库评估InternVL系列模型，并从技术报告或网页中获取其他模型的分数）和VLMEvalKit分数（右侧：从OpenCompass排行榜中收集）。请注意，使用不同的测试工具包（如InternVL和VLMEvalKit）评估同一模型可能会导致轻微的差异，这是正常现象。代码版本的更新以及环境和硬件的变化也可能导致结果的轻微差异。

除了上述提到的VQA基准测试外，我们还在MM-NIAH基准测试中评估了InternVL2-Pro。MM-NIAH是一个为长多模态文档理解设计的综合基准测试。如图所示，我们的模型结合了检索增强生成（RAG）技术，在理解长多模态文档方面表现与Gemini相当。在计数任务和涉及图像细节的其他任务上的性能提升将留待未来工作。有关结合RAG的InternVL2-Pro的更多细节，请参阅这篇论文。intern-vl 1.5 论文解读：How Far Are We to GPT-4V?-CSDN博客