华为云AI-Native智算存储，引领AI时代数据存储变革

华为云开发者联盟 2024-07-02 13:31:01 阅读 95

2024年6月23日，在华为开发者大会 2024上，“AI-Native智算存储，引领AI时代数据存储变革”高峰论坛成功举办。华为云存储服务产品部邀请知名学者、专家、企业家，共同探讨AI时代的前沿存储技术，分享成功实践、联合创新及智能化经验，见证智能世界的日新月异，携手共建AI时代数据存储的坚实底座。

紧抓云存储机遇，找准方向破局

清华大学舒继武教授在《AI大模型时代，云存储发展的机遇与挑战》的主题演讲中解读了AI大模型时代的云存储的发展趋势、面临的机遇与挑战，并指出了破局思路：用AI原生的文件存储服务应对海量文件管理的挑战，用以GPU为中心的模型数据存储服务应对大模型训练推理过程中的存储扩容、显存容错与显存扩容的挑战。

清华大学教授舒继武

AI-Native智算存储，引领AI时代数据存储变革

“AI时代正在全业务流重塑对云存储的关键需求，云存储成为算力之外的第二生产力。”华为云存储服务产品部部长林超在《AI-Native智算存储，引领AI时代数据存储变革》演讲中指出。

华为云存储服务产品部部长林超

华为云存储提供面向AI的全业务流存储产品对象存储OBS、文件存储SFS Turbo、内存存储EMS、知识湖存储LMS，通过以存助算/强算/代算/补算，全面引领产业变革：

数据加载：OBS+SFS Turbo联动，海量小文件快速预热，10亿条小文件训练原始数据0.5h加载完成。模型训练：SFS Turbo三级缓存加速，任务快照数据秒级恢复，节省AI算力资源。推理问答：业界首创EMS弹性内存存储服务，打破AI内存墙，实现显存扩展，NPU算力节省50%；实现算力卸载，KV计算卸载至CPU+EMS，吞吐量提升100%；实现以存代算，缓存和复用历史KV计算结果，首Token时延降低80%。RAG：LMS读写算分离+Memory Index打造千亿规模知识湖，实现千亿数据毫秒级查询，成本降低50%。AIGC：OBS智能分级助力热温冷存储成本降低20%，Storage lens存储指标分析平台使能数据管理效率提升20%。

AI-Native智算存储存储白皮书发布仪式

会上华为云存储服务产品部部长与发言嘉宾共同发布了《AI-Native智算存储存储白皮书》。白皮书阐述了对AI时代数据存储技术趋势的深刻洞察和前瞻思考。

携手华为云存储，加速迈进AI新时代

华为流程IT首席存储架构师叶飞在《AI-Native智算存储助力华为IT智能化升级》主题演讲中指出，华为IT紧抓AI大模型技术变革的机遇，全面拥抱AIGC，构建统一AI流水线和AI资源工具链，服务1+6+1可和1+6+N产业颗粒智能化升级，提升各领域的作业效率和质量，打造万物互联的智能华为。华为IT系统应用SFS Turbo助力算力集群存储秒级快速恢复，为模型训练提速，实现4000万RMB/年节约。在代码检视中，华为IT与华为云存储联合创新，应用EMS助力显存扩展，增强AI辅助IT研发能力，提升代码检视准确性。在Welink云空间应用中，面临空间数据种类多、数据量大的挑战，华为IT应用LMS使能高效向量化检索实现海量文件内容的精准获取。

华为流程IT首席存储架构师叶飞

“AI时代，AI数字人是一种新质生产力，被广泛应用于娱乐、旅游、零售等各行各业。华为云存储为硅基数字人提供高并发保障，降低300%成本。”南京硅基智能科技有限公司生态运营总监葛军分享《硅基生命崛起，AIGC数字人行业应用》时表示。硅基智能应用SFS Turbo+OBS使能数字人模型高效多Region分发，额外增加SFS Turbo带宽性能为AI数字人推理提速。在AI数字人实时对话场景中，硅基智能与华为云存储EMS联合创新，以存代算，缓存和复用历史KV计算结果，节省算力、降低首Token时延，提高数字人交互体验。

南京硅基智能科技有限公司生态运营总监葛军

杭州波形智能科技有限公司联合创始人&CTO 周王春澍在《AI-Native智算存储加速WEAVER大模型训练推理》主题演讲中指出，在WEAVER大模型无限长文本生成场景中，EMS有效扩展显存，以存代算，节省算力，加速蛙蛙写作应答，为用户提供了更优的创作体验。在WEAVER大模型的训练场景中，SFS-Turbo为垂域大模型的训练提供了高效、稳定、低成本的存储侧解决方案。

杭州波形智能科技有限公司联合创始人&CTO 周王春澍

江苏赞奇科技股份有限公司研发总监张鹏在《华为云存储加速渲云云渲染》主题演讲中指出，赞奇科技依托华为云底层优势资源，携手把更好国产SaaS带给行业伙伴。在渲云云渲染的实际业务中，SFS Turbo有效支撑了渲染素材并发读取，支持同时挂载8000+计算节点，并已有效运行5年。在渲染虚拟机批量创建场景中，EVS（云硬盘）镜像缓存使能分钟级上千台虚拟机并发启动、高效渲染环境初始化、本地100GB+缓存并发读写，高效保障了渲染虚拟机批量创建。