昌 达（Da Chang）
- Ph.D student (2024-Present)
- 鹏城实验室
- 中国科学院深圳先进技术研究院
深度学习研究 — 优化 • PEFT • 预训练与后训练
我2024年毕业于中南大学自动化学院智能科学与技术专业。
目前在中国科学院深圳先进技术研究院（SIAT）与鹏城实验室（PCL）联合培养攻读博士学位。
我的专业方向为模式识别与智能系统，研究兴趣主要聚焦于深度学习的优化与泛化，以及深度模型在各类应用场景中的实践。
我对深度学习的理论与应用都非常感兴趣，欢迎与我交流神经网络训练技巧、应用场景与优化理论。
动态 / News
- 2025-11 — 预印本 Calibrating and Rotating: A Unified Framework for Weight Conditioning in PEFT 发布。
- 2025-09 — 预印本 On the Convergence of Muon and Beyond 发布。
- 2025-09 — 论文 MGUP: A Momentum-Gradient Alignment Update Policy for Stochastic Optimization 入选 NeurIPS 2025 Spotlight。
- 2025-07 — 我开始了博士第二年在鹏城实验室的学习。
- 2024-09 — 我开启了博士第一年在中国科学院大学雁栖湖校区的学习。
- 2024-08 — 本科毕业设计Mixed Text Recognition with Efficient Parameter Fine-Tuning and Transformer 入选 ICONIP 2024。
- 2024-06 — 我从中南大学自动化学院毕业.
- 2024-06 — 我的本科毕业论文获得优秀论文评价。
代表论文
On the Convergence of Muon and Beyond
提供了统一的衰减步长分析框架，完整地分析Muon-type优化器在随机非凸优化设置下的非遍历收敛性质与遍历收敛性质；讨论方差缩减带来的最优复杂度性质。
Muon收敛性随机优化
Calibrating and Rotating: A Unified Framework for Weight Conditioning in PEFT
分析DoRA与LoRA的性质，并统一“校准 + 旋转”的权重条件化策略，提升 PEFT 的性能与训练推理效率。
LLMs PEFT权重条件化
MGUP: A Momentum-Gradient Alignment Update Policy for Stochastic Optimization
通过动量-梯度的对齐策略提供随机非凸优化遍历收敛性保证并加速训练。
随机优化动量对齐
Mixed Text Recognition with Efficient Parameter Fine-Tuning and Transformer
基于 TrOCR 的 OCR 管线，结合高效 PEFT 以处理混合文本；提供可复现实验与评测。
OCRTrOCRPEFT
荣誉与奖励
- 第八届全国大学生生物医学工程创新设计竞赛 二等奖，2023
- 第九届全国大学生统计建模竞赛 三等奖，2023
- 中南大学二等优秀奖学金（前 15%），2023
- “山河智能奖学金”二等奖学金（前 5%），2022
- 中南大学一等奖学金（前 5%），2022
技能
- 编程语言： Python、C/C++、MATLAB、LaTeX
- 工具框架： PyTorch、MindSpeed、scikit-learn、AutoML 框架
访客
