华为李斌杰分享AI数据湖解决方案,助力企业释放数据潜能,引领AI时代发展。
摘要:AI数据湖解决方案,加速行业智能化落地!

8月13日至16日,第21届CCF全国高性能计算学术年会(CCFHPCChina2025)在鄂尔多斯隆重举办。8月15日,华为数据存储解决方案架构师李斌杰参加了华为高性能计算创新论坛,并发表了题为“解锁数据潜能,领航AI时代”的主题演讲。
华为数据存储解决方案架构师李斌杰发表演讲
AI时代,数据无处不在。新兴应用的迅速发展使数据的价值持续提升,数据规模的扩大也对数据基础设施提出了更高要求。传统架构已难以满足海量数据价值释放的需求,存储技术的创新因此成为推动AI行业落地的关键动力。
当下,在国家将数据确立为新型生产要素的战略背景下,“以数据为核心”的存力中心建设正逢其时,已成为推动数据基础制度和先进技术落地的重要平台,目标是将数据资源的比较优势转化为经济发展的优势,进一步释放数据要素的活力。
在AI时代,企业面临的主要挑战包括多模态数据治理、跨地域数据协同以及复杂AI工程化。以自动驾驶业务为例,尽管其数据质量较高,但因涉及多源异构的数据形式,如激光雷达、点云、视觉信息等,再加上路测与研发中心分布于不同地域,使得数据的归集、调度、加工与处理流程变得极为复杂,给数据工程和模型工程带来了巨大压力。 从行业发展的角度来看,这些挑战不仅是技术上的难题,更是组织协调与管理能力的考验。企业在推动AI落地的过程中,必须建立起高效的数据治理体系,并强化跨地域协作机制,才能真正实现数据价值的最大化。同时,随着AI技术的不断演进,如何将复杂的模型有效地部署和维护,也将成为决定企业竞争力的关键因素之一。
这凸显了AI实现大规模应用的关键路径:通过融合AI工具链和高效数据存储的AI数据湖架构,由政府推动建设存力中心,企业则负责搭建行业数据湖,贯通数据治理到模型应用的全流程,破解AI落地的“最后一公里”难题。
基于此,华为近日推出AI数据湖解决方案,旨在提升数据的价值密度。该方案包括数据湖存储、数据管理、AI工具链ModelEngine以及数据应用与运营等核心模块,构建起一套完整的数据处理与应用体系。 在当前数据驱动的数字化转型进程中,数据湖作为整合多源异构数据的重要载体,正发挥着越来越关键的作用。华为此次推出的解决方案,不仅强化了数据的存储与管理能力,还通过ModelEngine等AI工具链,进一步提升了数据的智能化处理水平,有助于企业更高效地挖掘数据价值。随着人工智能技术的不断演进,这类融合数据与智能的综合方案,或将引领行业迈向更深层次的智能化发展。
在AI时代,海量数据需要随时访问、长期留存,这使得热温数据存储空间需求急剧增加。为此,华为全闪分布式存储在高性能款型OceanStor Pacific 9920/9928的基础上,推出了全新款型OceanStor Pacific 9926,旨在加速SSD在海量数据场景下的广泛应用,加速实现HDD的升级替代。该产品搭载61.44/122.88TB高密大容量SSD,内置高效数据缩减算法,可提供高达8PB/2U的容量密度,较HDD机型提升16倍;并基于端到端的NVMe协议性能优化,单节点带宽性能达成15GB/s,较HDD机型提升4倍;此外,采用面向大容量SSD优化的专有EC算法、Die级数据重构设计, 10分钟/TB的重构效率也相对HDD提高3倍。与此同时,OceanStor Pacific 9926将配套可得容量保障服务,若达不到承诺容量即补盘,满足用户容量“所购即所得”。
针对AI训练与推理场景,华为OceanStor A800高性能AI存储以强大的存储能力支撑计算,提升AI集群利用率达30%。同时,通过多级KVCache技术,使大模型推理具备更长的上下文记忆能力,从而提高推理效率。
华为联合合作伙伴,充分发挥数据聚合效应,实现数据的全局可视与可控,推动数据的高效应用与运营。同时,通过开源ModelEngine工具链框架,共建生态,赋能数据工程与模型工程,助力产业链伙伴和客户快速完成数据编排、模型编排及应用对接,让AI落地更加简单。
AI时代,数据存储领域前景广阔。华为数据存储将持续推进技术创新与生态合作,联合全球伙伴打造面向人工智能时代的数据基础,共同描绘数字经济发展的新图景。