昌 达（Da Chang）
鹏城实验室 (2025.7-至今)
中国科学院深圳先进技术研究院 (2024.9-至今)
模式识别与智能系统 (PRIS) 博士
中南大学自动化学院2020级
智能科学与技术 工学学士
深度学习研究 — 优化 • PEFT • 预训练与后训练
我2024年毕业于中南大学自动化学院智能科学与技术专业。
目前在中国科学院深圳先进技术研究院（SIAT）与鹏城实验室（PCL）联合培养攻读博士学位。
我的专业方向为模式识别与智能系统，研究兴趣主要聚焦于深度学习的优化与泛化，以及深度模型在各类应用场景中的实践。
我对深度学习的理论与应用都非常感兴趣，欢迎与我交流神经网络训练技巧、应用场景与优化理论。
动态 / News
- 2026-01 — KG-SAM: Injecting Anatomical Knowledge into Segment Anything Models via Conditional Random Fields 入选 ICASSP 2026 Oral。
- 2025-11 — Calibrating and Rotating: A Unified Framework for Weight Conditioning in PEFT 入选 AAAI 2026。
- 2025-09 — 预印本 On the Convergence of Muon and Beyond 发布。
- 2025-09 — MGUP: A Momentum-Gradient Alignment Update Policy for Stochastic Optimization 入选 NeurIPS 2025 Spotlight。
- 2025-07 — 我开始了博士第二年在鹏城实验室的学习。
- 2024-09 — 我开启了博士第一年在中国科学院大学雁栖湖校区的学习。
- 2024-08 — 本科毕业设计Mixed Text Recognition with Efficient Parameter Fine-Tuning and Transformer 入选 ICONIP 2024。
- 2024-06 — 我从中南大学自动化学院毕业.
- 2024-06 — 我的本科毕业论文获得优秀论文评价。
项目经验
Distributed Muon-based MoE Training on 64 NPUs
在基于 Megatron 和 MindSpeed 的 64 卡 NPU MoE 大模型训练框架上，完成了 Muon 与 Distributed Muon（ZeRO 风格）的集成与训练落地，并支持 TP、CP、EP、PP 等并行策略。通过对优化器与训练系统的联合调优，Muon 在训练中稳定优于 AdamW，Distributed Muon 则以额外通信开销换取了更低显存占用；同时定位了 MoE expert 与 Muon 冗余引发的损失尖峰故障。项目最终提升了训练吞吐、稳定性与资源利用率，并支持更大规模模型训练。
MoEMuonZeROMegatronMindSpeed64 NPUs
代表论文
KG-SAM: Injecting Anatomical Knowledge into Segment Anything Models via Conditional Random Fields
On the Convergence of Muon and Beyond
提供了统一的衰减步长分析框架，完整地分析Muon-type优化器在随机非凸优化设置下的非遍历收敛性质与遍历收敛性质；讨论方差缩减带来的最优复杂度性质。
Muon收敛性随机优化
Calibrating and Rotating: A Unified Framework for Weight Conditioning in PEFT
分析DoRA与LoRA的性质，并统一“校准 + 旋转”的权重条件化策略，提升 PEFT 的性能与训练推理效率。
LLMs PEFT权重条件化
MGUP: A Momentum-Gradient Alignment Update Policy for Stochastic Optimization
通过动量-梯度的对齐策略提供随机非凸优化遍历收敛性保证并加速训练。
随机优化动量对齐
Mixed Text Recognition with Efficient Parameter Fine-Tuning and Transformer
基于 TrOCR 的 OCR 管线，结合高效 PEFT 以处理混合文本；提供可复现实验与评测。
OCRTrOCRPEFT
学术服务
- 2026 — 审稿人（Reviewer）：International Conference on Machine Learning（ICML）。
- 2025 — 审稿人（Reviewer）：IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）。
荣誉与奖励
- 第八届全国大学生生物医学工程创新设计竞赛 二等奖，2023
- 第九届全国大学生统计建模竞赛 三等奖，2023
- 中南大学二等优秀奖学金（前 15%），2023
- “山河智能奖学金”二等奖学金（前 5%），2022
- 中南大学一等奖学金（前 5%），2022
技能
- 编程语言: Python, C/C++, MATLAB, LaTeX
- 机器学习框架: PyTorch, scikit-learn, Megatron, MindSpeed
- 分布式训练: TP, PP, EP, CP; MoE training on NPU clusters
- AI助手编程: Claude Code, Codex
访客
