近日,深圳河套学院AI训练平台项目团队联合哈尔滨工业大学(深圳)、深圳市大数据研究院及华为相关团队,在国产AI芯片领域取得重大突破。依托昇腾910C国产AI算力集群,该团队成功完成1.6万亿参数大模型DeepSeek-V4-Pro的全参数后训练,标志着中国在高端AI算力应用领域迈出关键一步。
全参数后训练是AI大模型开发的核心环节,要求在训练过程中同步更新全部参数。对于DeepSeek-V4-Pro而言,这意味着需同时调整1.6万亿个参数,其计算复杂度远超常规训练。项目团队采用混合专家(MoE)架构,该架构虽能提升模型效率,但训练时需确保所有"专家"模块同步学习,数据交换量是普通模型的数十倍,对算力集群的通信能力提出极高要求。
此次突破得益于三大工程技术创新:一是分布式显存管理方案,通过精密算法将模型拆解为数万个小模块,精准分配至每张计算卡;二是动态负载均衡技术,针对MoE架构特性优化任务调度,使算力利用率提升至30%以上;三是全链路容错系统,通过1500余步连续训练无中断的实践,验证了国产集群的稳定性。官方数据显示,关键训练算子效率较此前提升14%,达到国际先进水平。
海外科技媒体对此高度关注,《南华早报》评论称,在美国持续加码半导体出口管制的背景下,中国团队通过系统级创新突破算力瓶颈,展现出自主可控技术路径的可行性。深圳发布官方通报强调,此次实践为全球第三方机构在国产平台上开展超大规模模型训练积累了宝贵经验,证明国产AI芯片已具备支撑世界级模型开发的能力。
值得关注的是,该项目将技术攻关与人才培养深度融合。深圳河套学院构建了"青年教师-博士生-工程团队"三级培养体系,42名参与学生从环境搭建到全流程训练均深度参与,形成了完整的实战人才梯队。业内专家指出,高端算力平台的建设不仅解决了"卡脖子"问题,更为中国AI产业培育了具备系统级优化能力的核心人才。
据项目组透露,后续将围绕长文本处理、AI智能体等方向持续优化算力集群性能,并探索国产芯片在多模态大模型中的应用潜力。此次突破已引发产业界广泛关注,多家科研机构表示将启动基于国产算力的模型训练计划,推动形成自主技术生态。

