支持原生 FP8 和 PyTorch 2.5.0,摩尔线程开源发布 Torch-MUSA v2.0.0

发布时间:2025-07-04 12:27:38 来源:互联网

本站 5 月 9 日消息,摩尔线程今日宣布推出 Torch-MUSA v2.0.0 版本,这是其面向 PyTorch 深度学习框架的 MUSA 扩展库的重要升级。

新版本基于 MUSA Compute Capability 3.1 计算架构,支持原生 FP8 数据类型,支持 PyTorch 2.5.0,并通过多项针对 MUSA 计算平台的性能优化,进一步提升了对 AI 模型和大规模数据处理的支持能力。

作为本次升级的核心亮点,Torch-MUSA v2.0.0 率先在国产 GPU 上实现了对 FP8 数据类型的完整支持。

FP8 是当前 AI 计算的一种前沿低精度格式,在支持原生 FP8 的 GPU 上,大语言模型(LLM)训练采用 FP8 混合精度可大幅提高 GPU 算力,显著降低显存占用。

摩尔线程基于新一代 MUSA Compute Capability 3.1 计算架构的全功能 GPU 原生支持 FP8 计算,这为 Torch-MUSA v2.0.0 实现 FP8 矩阵乘法和分布式通信优化提供了基础。依托这一底层架构优势,Torch-MUSA v2.0.0 能够充分发挥 FP8 的计算效能,提升大语言模型训练和推理的效率。

Torch-MUSA v2.0.0 在 MUSA 计算平台引入多项创新功能,进一步提升深度学习任务的执行效率:

新增虚拟内存管理支持:

MUSA 虚拟内存管理技术能够有效缓解 GPU 内存碎片化问题,降低模型训练过程中的峰值内存占用,特别适用于 FSDP、DeepSpeed 和 Megatron-LM 等主流大模型训练框架。

新增 MUSA Graph 支持:

MUSA Graph 技术将多个 MUSA 内核整合到一个图中,通过单次 CPU 调度大幅减少启动开销,提升计算效率,同时与 CUDA Graph 接口高效兼容。

torch.compile 增加 Triton 后端支持:

为 torch.compile 提供了 Triton-MUSA 后端支持,开发者可以直接使用 PyTorch 原生接口,获得更高效的性能表现。

Torch-MUSA v2.0.0 在完整支持 PyTorch 2.2.0 的基础上,新增了对 PyTorch 2.5.0 的支持,使开发者能够在基于 MUSA Compute Capability 3.1 计算架构的全功能 GPU 上,无缝运行新版本的 PyTorch。

Torch-MUSA 已完全开源,开发者可通过访问 GitHub 获取源代码。本站附开源地址:

https://github.com/MooreThreads/torch_musa

本周热门教程

1
女人在尝到粗硬后会经历哪些心理变化?探索心理层面的变化与情感联结

女人在尝到粗硬后会经历哪些心理变化?探索心理层面的变化与情感联结

2025/02/10

2
一起草(www.17.c.com)平台如何提高创作效率?揭示它的核心优势与实用功能

一起草(www.17.c.com)平台如何提高创作效率?揭示它的核心优势与实用功能

2025/02/17

3
大肉大捧一进一出爽的深层次情感体验解析:如何在亲密关系中找到真正的满足

大肉大捧一进一出爽的深层次情感体验解析:如何在亲密关系中找到真正的满足

2025/01/10

4
Picacg哔咔官网入口提供丰富漫画资源与社交互动,打造优质阅读平台

Picacg哔咔官网入口提供丰富漫画资源与社交互动,打造优质阅读平台

2025/01/27

5
91网站:娱乐资讯、电影、音乐与游戏的完美融合平台

91网站:娱乐资讯、电影、音乐与游戏的完美融合平台

2024/12/15

6
一起草(www.17.c.com)如何帮助用户高效完成文案创作?让创作变得更轻松

一起草(www.17.c.com)如何帮助用户高效完成文案创作?让创作变得更轻松

2025/01/06

7
搞机time极速入口何在?无需登录,如何重写中文汉字的捷径是什么?

搞机time极速入口何在?无需登录,如何重写中文汉字的捷径是什么?

2025/02/16

8
韩国电影《教室爱欲》:探索青春期复杂情感与欲望的深刻之作

韩国电影《教室爱欲》:探索青春期复杂情感与欲望的深刻之作

2024/12/25

9
9 1免费版下载——轻松获取9 1免费版,无需付费即可体验所有功能

9 1免费版下载——轻松获取9 1免费版,无需付费即可体验所有功能

2025/01/15

10
2023年日剧《部长来家里喝酒》带给观众的不仅是职场风波,还揭示了人性的复杂与温暖

2023年日剧《部长来家里喝酒》带给观众的不仅是职场风波,还揭示了人性的复杂与温暖

2025/02/01