摩尔线程发布并开源大模型分布式训练仿真工具SimuMax 1.0。新版本在显存和性能仿真精度上取得突破，并加入多项功能，增强了模型兼容性和灵活性。SimuMax面向大语言模型分布式训练负载设计，可支持从单卡到万卡集群的仿真。它无需完整训练即可高精度模拟显存使用和性能表现，帮助用户分析效率并探索优化途径。工具基于静态分析模型，通过结合成本模型、内存模型和屋顶模型实现精准仿真，兼容多种并行策略和优化方法。
在并行策略上，支持数据并行、张量并行、序列并行、流水线并行及专家并行；在优化方面，支持ZeRO-1、完整重计算、选择性重计算和融合内核。适用对象包括需要寻找高效训练策略的用户、框架与算法开发工程师以及芯片厂商。
SimuMax 1.0的核心进展是仿真精度提升：在Dense和MoE模型上，显存估计误差控制在1%以内；在多种主流GPU上，性能估计误差低于4%。功能方面，新版新增对MLA架构支持，流水线并行提供首尾阶段细粒度控制；MoE模型允许自定义Dense层；兼容Megatron框架并简化迁移流程；选择性重计算更加精细，内存与计算资源利用更平衡；并增加不同张量形状与内存布局下效率评估。
SimuMax已在GitHub开源，提供源码、文档与示例，鼓励开发者通过Issue和Pull Request参与生态建设。未来版本将增加上下文并行、更多流水线调度器、通算并行、Offload、策略搜索及更精准的memory-bound算子模拟等功能。摩尔线程表示将持续优化工具链，推动大模型训练的仿真与优化。
