Data + AI 一体架构的创新引领，开启智能数据时代新篇章

前言Data + AI 一体架构

前言

在当今数字化时代，数据与人工智能的融合成为了推动企业发展和创新的关键力量。深刻洞察到这一趋势，积极探索并实践了 “Data + AI” 一体架构的产品创新。这个架构不仅代表着技术的前沿发展方向，更是为企业在数据处理、分析和智能化应用等方面提供了强大的支持。

从 Data for AI 和 AI for DataWarehouse 两个关键技术方向入手，揭示了如何将大数据与人工智能深度学习、大模型训练深度协同，以及如何运用人工智能智能技术改进数据仓库的核心能力。同时，还阐述了 Data + AI 开发的全生命周期所面临的挑战及解决方案，如通过 MaxCompute 产品的分层架构、核心功能以及在交互式开发环境、海量数据预处理、AI for DW 方向和大模型应用最佳实践等方面的卓越表现。

这一创新架构的出现，为企业在数据驱动的时代中提供了新的机遇和发展路径。让我们一同深入解读阿里云的 “Data + AI” 一体架构，领略其在数据与智能融合领域的独特魅力和巨大价值。

Data + AI 一体架构

在当今数字化浪潮席卷全球的背景下，数据和人工智能的融合成为了企业实现创新和发展的关键驱动力。阿里云敏锐地捕捉到了这一趋势，积极探索 Data + AI 一体架构的产品创新，为企业提供了更高效、智能的数据处理和分析解决方案。

Data + AI 一体架构可以从纵向和横向两个方向拆解，即 Data for AI 和 AI for DataWarehouse。Data for AI 致力于将海量数据与 AI 深度学习与大模型进行深度协同，而 AI for DW 则主要通过 AI 智能技术来改进数据仓库的核心能力，其中数据治理是大家最关注的产品能力之一。

Data + AI 开发的全生命周期，包括数据分析、数据预处理、模型创建、模型训练、模型评估、模型预测以及部署发布等流程，涉及业务人员、数据工程师、数据分析师和数据科学家等不同角色。在这个全生命周期中，存在成本、效率、运维三方面的核心技术挑战，如数据类型多、数据管理能力差、数据开发与模型开发脱节、性能扩展能力差、训练效率低以及工程化实现缺少统一运维管理等。

阿里云的 MaxCompute 产品在 Data + AI 一体架构上进行了深入的实践。MaxCompute 采用了分层架构，底层的数据层提供了统一的元数据服务、分布式存储以及对象存储，在半结构化数据存储领域中，JSON 半结构化数据的优化处理颇具挑战。中间层的计算层包括数据处理、模型开发、训练与管理，该平台还提供了交互式开发的 Notebook、统一开发调度平台的 DataWorks、可视化建模的 PAI Designer 等功能。其中，该平台创新性地提供分布式计算框架 MaxFrame 与自定义镜像管理，其主要支持统一的 Python 编程接口，支持构建对 LLM 大模型应用的数据预处理算子、分布式高效计算以及第三方包管理和模型镜像管理能力等。

MaxCompute Data + AI 产品架构的核心功能包括统一数据管理、分布式计算框架、交互式开发环境、镜像管理等。统一数据管理 OpenLake 平台之上提供了基于统一数据湖仓的能力，支持对结构化、半结构化以及非结构化数据的管理。分布式 Python 计算框架 MaxCompute MaxFrame 则通过提供统一 Python 编程接口，提供了分布式计算能力，在数据预处理过程中提供更高效的计算，为后续 AI 训练提供完备数据。交互式开发环境即开箱即用的 Notebook，提供了更便捷的交互式大数据与 AI 开发体验。自定义镜像管理 Compute Image 通过内置第三方依赖包 / 通用模型及其他，提供了便捷高效的自定义镜像管理。

MaxCompute 支持 One Env + One Data + One Code 的用户体验，通过 Maxframe 进行数据预处理，并将结果直接集成在 PAI 的机器学习平台上，进行模型开发。之后使用 PAI - DLC 分布式 AI 训练平台进行对 AI 深度学习模型进行分布式训练优化，并通过 PAI 的镜像管理能力实现各类 AI 模型的管理。最后由 PAI - EAS 自动化推理组件来实现在线模型部署与发布。

在交互式开发环境方面，MaxCompute Notebook 为相关人员提供 Web 交互式开发环境，支持多引擎与 MaxCompute 集成，将结果输入到机器学习平台中，内置丰富的函数库，且数据安全有保障。分布式计算框架 MaxFrame 能够支持统一的 Python 编程接口，提供更多且灵活的算子兼容。另外是支持大数据、离线和 AI 的任务统一编排的 Data + AI 一体化 Pipeline。最后是开箱即用的开发体验，在可复用 MaxCompute 计算资源和数据接口以及海量数据的支撑下，面向大规模数据处理，数据可视化，科学计算以及 ML/AI 开发等多种开发场景。

在面向海量数据预处理场景中，通过 MaxFrame 框架计算对开源大模型项目 RedPajama 所提供的数据集进行预处理工作，包括数据预处理，文档去重，水印去除，数据过滤等。使用 MaxFrame 框架比使用基于开源算子的数据预处理整体耗时节省了 97.8%。此外，MaxCompute 还深化了 AI 非结构化数据管理，通过 Object Table 将非结构化数据抽象成表的格式，便于通过 Python 编程接口或者 SQL 语法进行便捷查询或检索。对于非结构化数据的缓存加速，查询优化以及列式数据裁剪，是把在智能数仓的 AI 智能特性应用在非结构化数据的管理上面。

在 AI for DW 方向，阿里云进行了一系列的技术与产品探索。分层存储推荐根据数据的访问量来推荐冷存或者归档的数据形态，并根据数据存储的时间与使用场景在冷存和热存之间做自动转化，通过优化存储来不断降低客户数据存储成本。物化视图智能化通过 AI 深度改造物化视图，提供物化视图推荐等智能化能力。AI for DW 智能数仓新创新包括基于 AI 的数据治理能力、作业管理优化、资源分配以及查询计划的优化等，其中基于 learning - based query optimizer，基于大模型或者传统机器学习的 AI 能力提供更强的 Auto 计算查询优化的用户体验。此外，通过智能数据重分布来实现自动化的数据分布优化，减少数据倾斜，最终实现智能数仓全面自动化。MaxCompute 成本优化器是为用户提供智能资源配置的产品组件，DataWorks Copilot 智能助手可辅助用户完成数据开发与数据分析工作，提高效率。

在文本去重场景中，MaxCompute Notebook 对大模型所需的裸数据进行清洗，文本分词，Hash 计算等能力，并将任务提交至 MaxCompute MaxFrame 上分布式执行。整个链路在交互式开发环境即可实现。与开源算子性能对比，MaxCompute 处理性能在性能层面提升 70% 以上，在环境准备效率上提升 10% - 30%。在大规模图片处理中，基于 MaxCompute 创建弹性资源池，通过 MaxFrame 并发读取 OSS 数据，调用第三方算子进行图片渲染，并实现分布式数据读取和计算处理。

在处理非结构化文本时如何更好地分割知识块、保证检索和查询准确率的问题。阿里云提出了构建专门知识库、进行人工审查和微调以及在训练过程中进行调优与微调等方法，同时强调了 Data 处理智能化和优化整体资源消耗的重要性。

阿里云在 Data + AI 一体架构的产品创新方面取得了显著成果，通过 MaxCompute 产品的实践，解决了数据管理、计算效率、开发体验等方面的问题，为企业提供了强大的技术支持，推动了数据与智能的深度融合，引领了数据架构领域的发展潮流。

参考

https://mp.weixin.qq.com/s/igZk0CY-KoEigjjgWWq9sw