昌 达（Da Chang）
鹏城实验室 (2025.7-至今)
中国科学院深圳先进技术研究院 (2024.9-至今)
模式识别与智能系统 (PRIS) 博士
中南大学自动化学院2020级
智能科学与技术 工学学士
深度学习研究 — 优化 • 预训练基础设施 • 参数高效微调
我2024年毕业于中南大学自动化学院智能科学与技术专业。
目前在中国科学院深圳先进技术研究院（SIAT）与鹏城实验室（PCL）联合培养攻读博士学位。
我的专业方向为模式识别与智能系统，主要从事大模型训练系统与优化研究，重点关注预训练基础设施、分布式训练以及优化器与系统的协同设计。研究内容涵盖 Muon、AdamW 等优化算法及其机制，以及这些算法在 Megatron、MindSpeed 和 NPU 集群中的高效稳定实现，包括并行策略、MoE 训练、混合精度、显存优化与数值稳定性等问题。近期也关注 mid-training 和 post-training，探索大模型全训练流程中的算法—系统协同。
动态 / News
- 2026-07 — 预印本 Muse: Representation Geometry of Muon Beyond Normalized Momentum 发布。
- 2026-03 — 预印本 MuonEq: Balancing Before Orthogonalization with Lightweight Equilibration 发布。
- 2026-01 — KG-SAM: Injecting Anatomical Knowledge into Segment Anything Models via Conditional Random Fields 入选 ICASSP 2026 Oral。
- 2025-11 — Calibrating and Rotating: A Unified Framework for Weight Conditioning in PEFT 入选 AAAI 2026。
- 2025-09 — 预印本 On the Convergence of Muon and Beyond 发布。
- 2025-09 — MGUP: A Momentum-Gradient Alignment Update Policy for Stochastic Optimization 入选 NeurIPS 2025 Spotlight。
- 2025-07 — 我开始了博士第二年在鹏城实验室的学习。
- 2024-09 — 我开启了博士第一年在中国科学院大学雁栖湖校区的学习。
- 2024-08 — 本科毕业设计Mixed Text Recognition with Efficient Parameter Fine-Tuning and Transformer 入选 ICONIP 2024。
- 2024-06 — 我从中南大学自动化学院毕业.
- 2024-06 — 我的本科毕业论文获得优秀论文评价。
项目经验
Distributed Muon-based MoE Training on 64 NPUs
在基于 Megatron 和 MindSpeed 的 64 卡 NPU MoE 大模型训练框架上，完成了 Muon 与 Distributed Muon（ZeRO 风格）的集成与训练落地，并支持 TP、CP、EP、PP 等并行策略。通过对优化器与训练系统的联合调优，Muon 在训练中稳定优于 AdamW，Distributed Muon 则以额外通信开销换取了更低显存占用；同时定位了 MoE expert 与 Muon 冗余引发的损失尖峰故障。项目最终提升了训练吞吐、稳定性与资源利用率，并支持更大规模模型训练。
MoEMuonZeROMegatronMindSpeed64 NPUs
代表论文
Muse: Representation Geometry of Muon Beyond Normalized Momentum
首次从表示几何（representation geometry）角度系统解释 Muon 超越归一化动量（normalized momentum）的本质机制，提出核支撑（nuclear support）理论，并揭示矩阵表示如何改变优化动力学与学习行为。
Muon
Representation Geometry
Optimization Theory
MuonEq: Balancing Before Orthogonalization with Lightweight Equilibration
MuonEq 在 Muon 的正交化更新之前加入轻量级的行/列平衡改善有限步 Newton–Schulz 的输入矩阵几何。
Muon
Row/Col Equilibration
Stochastic Optimization
KG-SAM: Injecting Anatomical Knowledge into Segment Anything Models via Conditional Random Fields
提出了一个知识引导的医学图像分割框架，该框架集成了用于解剖先验的医学知识图谱、用于边界细化的基于能量的CRF和基于不确定性感知的融合模块，在多位点前列腺分割中取得了82.69%的Dice分割效果。
SAM
Medical Segmentation
Knowledge Graph
CRF
On the Convergence of Muon and Beyond
提供了统一的衰减步长分析框架，完整地分析Muon-type优化器在随机非凸优化设置下的非遍历收敛性质与遍历收敛性质；讨论方差缩减带来的最优复杂度性质。
Muon
Convergence
Stochastic Optimization
Calibrating and Rotating: A Unified Framework for Weight Conditioning in PEFT
分析DoRA与LoRA的性质，并统一“校准 + 旋转”的权重条件化策略，提升 PEFT 的性能与训练推理效率。
LLMs PEFT
Weight Conditioning
MGUP: A Momentum-Gradient Alignment Update Policy for Stochastic Optimization
通过动量-梯度的对齐策略提供随机非凸优化遍历收敛性保证并加速训练
Stochastic Optimization
Momentum
Alignment
Mixed Text Recognition with Efficient Parameter Fine-Tuning and Transformer
基于 TrOCR 的 OCR 管线，结合高效 PEFT 以处理混合文本；提供可复现实验与评测。
OCR
TrOCR
PEFT
学术服务
TPAMI'25, ICML'26, NeurIPS'26审稿人。
荣誉与奖励
- 第八届全国大学生生物医学工程创新设计竞赛 二等奖，2023
- 第九届全国大学生统计建模竞赛 三等奖，2023
- 中南大学二等优秀奖学金（前 15%），2023
- “山河智能奖学金”二等奖学金（前 5%），2022
- 中南大学一等奖学金（前 5%），2022
技能
- 编程语言: Python, C/C++, MATLAB, LaTeX
- 机器学习框架: PyTorch, scikit-learn, Megatron, MindSpeed
- 分布式训练: TP, PP, EP, CP; MoE training on NPU clusters
- AI助手编程: Claude Code, Codex
访客
