智东西

作家王涵

智东西5月28日音尘，近期，深圳河套学院（SLAI）AI锤真金不怕火平台技俩团队，调处哈尔滨工业大学（深圳）、深圳大数据谈判院、华为GTS（各人技艺劳动）团队与深智城AI算力平台，仅用1个月，共同基于昇腾910C国产算力集群终了DeepSeek-V4-Pro全参数续锤真金不怕火/SFT幽静启动，完成长稳锤真金不怕火1500+步，锤真金不怕火MFU超30%，关节锤真金不怕火算子效能提高14%。

据公开贵寓，本职责是公开可查规模内业界首个由第三方机构基于国产算力集群完成的DeepSeek-V4-Pro全参数后锤真金不怕火工程实践。

深圳河套学院于2025年9月厚爱揭牌，其并非传统意旨上的大学，而是老师部部署诞生的国度级东谈主工智能拔尖立异东谈主才培养试验区，与中关村塾院、上海创智学院并排为三大AI海外级学院。

一、DeepSeek-V4-Pro在昇腾集群完周至参数锤真金不怕火，MFU幽静达34.9%

DeepSeek-V4-Pro是1.6万亿参数级MoE开源旗舰模子，采用DeepSeekMoE疏淡羼杂各人结构，模子架构引入了CSA+HCA羼杂疏淡戒备力、mHC归并等新机制。相较于DeepSeek-V3/R1等上一代旗舰MoE模子，DeepSeek-V4-Pro对国产锤真金不怕火框架、羼杂并行、各人通讯、算子效能、显存治理和长稳锤真金不怕火才智均冷落挑战。

经过调处攻关，团队现时已终了DeepSeek-V4-Pro在国产算力集群上的全参数锤真金不怕火幽静启动。同期，DeepSeek-V4-Flash的全参数续锤真金不怕火与SFT链路也已同步买通。

▲DeepSeek-V4-Pro@昇腾超节点锤真金不怕火，MFU最终幽静在34.9%

另外，该技俩还考据了锤真金不怕火平台在垂直规模模子才智构建上的本质价值。团队围绕工业级自动化运筹建模场景，支配专科规模数据，在数周内完成从数据坐褥、样本筛选、锤真金不怕火链路买通到效能评测的闭环考据，以较短周期和较低试错资本构建了面向垂直专科任务的模子增强才智。

据公开贵寓，现时业界泄露的DeepSeekV4国产算力发扬，主要集会在V4-Pro推理适配、V4-Flash锤真金不怕火参考终了及通用框架适配，尚未有第三方机构在国产算力集群上完成DeepSeek-V4-Pro全参数续锤真金不怕火/SFT幽静启动的公开信息。

因此，本职责可视为公开可查规模内，业界首个由第三方机构完成的国产算力集群DeepSeek-V4-Pro全参数后锤真金不怕火工程实践。

二、双场景幽静管理，微调后四项筹画均超原模子

本次攻关面向DeepSeek-V4-Pro全参数锤真金不怕火链路考据，辨认于LoRA、Adapter等少许参数微调，重心考据1.6万亿参数级MoE模子在国产算力集群上的端到端锤真金不怕火可行性、幽静性和效能提高空间。

调处团队变成了4类关节才智：

一是1.6TMoE模子权重、梯度、激活、优化器情状的分散式承载才智；

二是数据并行、张量并行、活水并行、各人并行协同的羼杂并行才智；

三是面向长稳锤真金不怕火的loss、梯度、各人负载、显存和绝顶收复监控才智；

四是羼杂疏淡戒备力、MoE路由、归一化、矩阵计较等关节锤真金不怕火算子的适配优化才智。

本次攻关以工业级自动化运筹建模场景手脚后锤真金不怕火考据任务。该场景对模子复杂推理、秀丽抒发、长链路联想、用具调用和完毕校验才智条目较高，大要试验DeepSeek-V4-Pro在全参数后锤真金不怕火过程中的管理幽静性、基础才智保持情况和复杂任务适配后劲。

为了进一步考据DeepSeek-V4在昇腾集群上进行后锤真金不怕火的才智，本技俩联想了大模子增强专科数学建模才智的锤真金不怕火实验，搭建了一条SFT建模数据坐褥workflow，产出了3000条高质地数学建模任务SFT样本，秘籍了4类方向任务和3种问题气象。

基于上述workflow生成的数据，调处团队对DeepSeek-V4进行了后锤真金不怕火，A8体育直播官网相应弧线如下图：

不错看出，LMloss和MTP-1loss在锤真金不怕火前半段快速下落，最终LMloss管理至0.2056，MTP-1loss管理至0.2538；梯度范数也从锤真金不怕火初期高位冉冉下落，莫得出现持续放大或loss失控。单步耗时全体幽静在27秒傍边，skippediterations和NaNiterations均为0。

本技俩将原参数模子与本次第微调后模子在主流建模才智Benchmark下进行不雅察对比：

不错看到，DeepSeek-V4模子经后锤真金不怕火，在4项关节筹画上均显贵向上原模子。其中ORGEval的提高尤其明显，进一步阐述了DeepSeek-V4在国产算力集群上进行后锤真金不怕火的可行性。

三、42名学生干与，从实在锤真金不怕火场景提高技艺才智

本次攻关亦然河套学院锤真金不怕火平台型东谈主才培养体系的一次集会实践。不同于传统课程式锤真金不怕火，本技俩以万亿级模子锤真金不怕火攻关为牵引，把学生培养径直镶嵌国产算力实在锤真金不怕火场景。

圆寂现时，技俩已组织培养学生42名，变成了由后生教师指令、博士生中枢攻坚、工程团队辅助的协同培养机制。

在这一过程中，同学们不仅仅参与技俩发扬，而是围绕实在问题承担具体任务：有的负责锤真金不怕火数据构造和样本质量分析，有的负责分散式锤真金不怕火建设与并行计谋考据，有的跟进锤真金不怕火幽静性监控和绝顶收复，有的负责模子评测、技艺明白和工程文档千里淀。

一次次锤真金不怕火启动、报错定位、参数调度和完毕复盘，齐使同学们大要径直清醒超大模子锤真金不怕火中模子结构、算力系统、通讯效能、显存治理和锤真金不怕火幽静性之间的复杂关连。

通过这种培养形势，学生才智提高体当今3个方面：

一是建立了对国产算力大模子锤真金不怕火全链路的系统性意志；

二是掌合手了从规模数据到模子才智增强的全过程才智；

三是在实在技俩中变成了问题拆解、实验联想、锤真金不怕火复盘和团队配合才智。

▲技俩团队开展技艺复盘与学生实战培养

四、异日进一步优化锤真金不怕火算子，同步鼓动工程千里淀与AGI基础谈判

下一阶段，深圳河套学院将不时调处哈尔滨工业大学（深圳）、深圳大数据谈判院、华为GTS（各人技艺劳动）团队和深智城有关团队，在现存全参数续锤真金不怕火/SFT链路基础上，重心鼓动3项任务：

一是持续优化锤真金不怕火框架和关节锤真金不怕火算子，进一步提高锤真金不怕火效能（MFU）；

二是辅助512K至1M超长高下文锤真金不怕火，提高复杂专科任务中的长文档清醒和长链路推理才智；

三是进一步芜俚DeepSeek-V4-Pro强化学习后锤真金不怕火技艺，围绕数学建模优化、代码Agent、长高下文推理等任务，构建rollout生成、用具施行、reward/verifier、计谋更新和评测反应闭环，变成从SFT到AgenticRL的完好意思后锤真金不怕火链路。

后续，技俩将同步鼓动技艺开源与东谈主才培养千里淀：一方面变成可复现的技艺明白和开源工程实践，分阶段灵通锤真金不怕火建设、评测剧本、合成数据、技艺明白及有关模子与框架才智；另一方面，将技俩中的实在锤真金不怕火任务、数据构造次第、故障排查案例和评测过程转化为课程案例、实训任务和学生科研技俩；同期基于此锤真金不怕火场，开展新一代通用东谈主工智能的基础表面、新范式和新架构的谈判。

谈判团队还将不时谈判新一代通用东谈主工智能的科学范式、基础表面、职责机理、可评释性、持续学习、记挂学习、智能体表面等基础科学技艺问题，谈判秀丽、归并和行为倡导有机交融的东谈主工智能新框架A8体育(中国)2026世界杯官方app下载，力争对信息全国、物理全国和东谈主类社会，从单一智能体到群体智能到东谈主机交融进行有用建模。