摩尔线程宣布开源MusaCoder:首个国产全功能GPU全栈训练代码大模型

非凡网 百科资讯 1

6月10日消息,今日,摩尔线程宣布正式发布并开源MusaCoder,这是面向GPU底层算子生成的专用代码大模型。

摩尔线程表示,MusaCoder是业内首个基于国产GPU算力底座完成全链路训练与验证的开源代码大模型,其完整后训练流程均在基于MTT S5000构建的夸娥智算集群上完成。

据介绍,MusaCoder包含9B和27B两个参数规模,主要面向GPU底层算子生成任务设计,重点支持从PyTorch标准算子自动生成高性能CUDA/MUSA原生Kernel代码。

这一能力可降低开发者手写底层GPU算子的门槛,提升GPU高性能计算场景下的代码生成、验证和优化效率。

性能方面,在KernelBench评测中,MusaCoder-27B-RL取得Overall Pass@8 93.2%、Avg.@8 88.60%的成绩,超越Claude Opus 4.7、DeepSeek-V4 Pro、GLM-5.1、Kimi K2.6等主流SOTA代码模型,达到当前行业领先水平。

摩尔线程称,MusaCoder的SFT(监督微调)、RFT(拒绝采样微调)、RL(强化学习)、异步rollout、在线编译执行验证及reward计算等全栈训练与验证流程,均依托MTT S5000构建的夸娥智算集群完成。

这也意味着,国产GPU不仅能够支撑大模型推理和常规微调任务,也能够稳定承载代码大模型后训练全周期算力需求。

尤其是在GPU Kernel生成这类任务中,训练系统需要频繁进行代码生成、编译、执行、验证和反馈计算,对硬件、编译栈、运行时、调度系统和评测基础设施都提出了更高要求。


MusaCoder训练总流程