数据与AI加速融合 激发数据新活力
北京2024年9月24日 /美通社/ -- 在数字化浪潮的汹涌澎湃中,闪存技术与人工智能(AI)的融合发展正逐步成为推动社会进步与行业变革的关键力量。浪潮信息在以"芯存储 AI未来"为主题的2024全球闪存峰会上,聚焦闪存技术与人工智能(AI)的融合发展。在主题演讲与多个论坛中分享了在数据存储技术和AI领域的最新进展和洞察。
AI与数据存储的融合创新
数据在AI时代的重要性不言而喻,数据与AI深度融合以推动未来AI的发展。据IDC分析,智能制造、智慧医疗、AIGC等新兴应用的爆发式增长及数字经济高质量发展的政策红利,为分布式存储市场带来前所未有的发展机遇。
云存储产品部总经理刘希猛在主题演讲中指出,2024年标志着人工智能应用的全面爆发,尤其是大语言模型、视频与图像处理以及虚拟直播等领域的广泛应用,使得数据存储基础设施面临前所未有的挑战。
随着数据的爆炸性增长,从数据采集、处理、训练、推理到归档的各个阶段都需要存储系统的有力支持。特别是大规模模型训练过程中产生的检查点(Checkpoint)数据,对存储系统的带宽和容量提出了极高的要求。
对此,浪潮信息打造基于NVMe SSD搭载新一代数据加速引擎DataTurbo的分布式全闪存储AS13000G7-N系列,通过盘控协同、GPU直访存储、全局一致性缓存等技术,能提供TB级带宽、千万级IOPS、EB级容量,在AIGC数据归集、训练、数据归档与管理等阶段提供文件、对象、大数据多协议融合互通能力、多元异构集群纳管能力,实现一份数据免迁移,数据准备时间节省40%。
同时,打造了基于AS13000G7的AIGC存储解决方案,通过与上层EPAI/AIStation进行深度定制,调度平台加持下,使数据横向流动更为高效,提升存储效率;纵向加速数据访问,加快训练速度,从容应对大模型应用对存储性能、容量以及数据管理等方面的苛刻要求。
解锁AIGC数据价值
在AIGC存储技术论坛上,浪潮信息存储产品部方案总监杨智峰博士带来了题为"释放AIGC数据潜能 浪潮信息分布式存储技术创新与实践"的演讲。
AIGC环境下对存储提出很多需求,特别是数据全生命周期管理能力和极致性能,包括Checkpoint带宽和训练过程中的极致I/O性能。
杨智峰强调,Scaling Law作为衡量模型效能的核心要素,其重要性在AI领域依然不可撼动,并引领着AI模型从单一模态向多元模态的深刻转型。这一转型趋势为数据存储领域开辟了前所未有的新机遇,具体体现在存储介质的全面闪存化、网络架构的归一化整合、内存资源的全局化调度,以及算力资源的多样化配置等方面。
浪潮信息在存储协议层面实施了一系列创新举措,显著提升了系统的兼容性与灵活性。这些创新包括但不限于文件、对象及大数据存储协议之间的无缝融合与高效互通,以及通过富元数据集中管理策略,进一步优化了数据存储的检索效率与管理便捷性。针对模型训练过程中对数据存取速度、并发处理能力的严苛要求,研发了多项前沿存储技术,如实现秒级检查点数据快速写入的能力,以及支持高达千万级IOPS的高性能存储系统,为AI模型的快速迭代与高效训练提供了坚实的支撑。
高端全闪存储:安全与高效的引领者
随着信息化跃居业务前沿,对存储系统提出严苛要求:确保核心业务实时稳定,数据永不丢失,并追求绿色高效。全闪存凭其卓越性能与节能特性,成为市场新宠,不仅提升效率、节省空间,更将能耗较机械硬盘锐减70%。在数字经济浪潮中,企业纷纷拥抱全闪存储,以绿色数据中心响应"碳达峰、碳中和"号召,平衡发展与环保,共创可持续未来。
在高端存储与分布式全闪存论坛中,浪潮信息存储产品部营销总监王旭东详细阐述了高端存储在核心业务场景下的重要性,特别是在实时交易、生产制造等关键性场景中。
为了满足客户对存储系统的高要求,浪潮信息推出了具备安全可靠、绿色高效的高端全闪存储HF18000系列。该系列产品采用Full-Mesh全互联架构,提高了系统的稳定性和可靠性,同时通过A-A架构模式降低了CPU利用率和IO延迟,提升了业务性能。
通过优化CPU访问带宽、核心分配算法等方式,显著提高了存储系统的性能。在系统层面,使用了最新的iTurbo 2.0全闪引擎,使得CPU资源分配更加合理。此外,还构建了一套完善的NOF网络,减少了丢包和延迟,支持更多的连接,从而进一步提升了存储性能。
目前,浪潮信息已在六大行、TOP3保险证券公司、石油石化、C9高校、TOP10医院等行业大客户中广泛部署存储平台,支撑企业的核心数据库、生成式AI、云平台、大数据等场景应用。未来,浪潮信息将会把握市场变化和用户需求,持续加大技术创新与投入,助力千行百业构建安全、可靠、经济、高效的数据存储底座,加速数字化转型和创新