维其互联 > 信息聚合 > 支持原生 FP8 和 PyTorch 2.5.0,摩尔线程开源发布 Torch-MUSA v2.0.0

支持原生 FP8 和 PyTorch 2.5.0,摩尔线程开源发布 Torch-MUSA v2.0.0

2025-05-09 22:05:52来源: IT之家

IT之家 5 月 9 日消息,摩尔线程今日宣布推出 Torch-MUSA v2.0.0 版本,这是其面向 PyTorch 深度学习框架的 MUSA 扩展库的重要升级。新版本基于 MUSA Compute Capability 3.1 计算架构,支持原生 FP8 数据类型,支持 PyTorch 2.5.0,并通过多项针对 MUSA 计算平台的性能优化,进一步提升了对 AI 模型和大规模数据处理的支持能力。作为本次升级的核心亮点,Torch-MUSA v2.0.0 率先在国产 GPU 上实现了对 FP8 数据类型的完整支持。FP8 是当前 AI 计算的一种前沿低精度格式,在支持原生 FP8 的 GPU 上,大语言模型(LLM)训练采用 FP8 混合精度可大幅提高 GPU 算力,显著降低显存占用。摩尔线程基于新一代 MUSA Compute Capability 3.1 计算架构的全功能 GPU 原生支持 FP8 计算,这为 Torch-MUSA v2.0.0 实现 FP8 矩阵乘法和分布式通信优化提供了基础。依托这一底层架构优势,Torch-MUSA v2.0.0 能够充分发挥 FP8 的计算效能,提升大语言模型训练和推理的效率。Torch-MUSA v2.0.0 在 MUSA 计算平台引入多项创新功能,进一步提升深度学习任务的执行效率: 新增虚拟内存管理支持:MUSA 虚拟内存管理技术能够有效缓解 GPU 内存碎片化问题,降低模型训练过程中的峰值内存占

关注公众号
标签: 开源