全部标签

MoE大模型

华为发布昇腾大模型：无GPU训练高数大题仅需2秒！

最近，华为通过其新推出的 “昇腾 + Pangu Ultra MoE” 系统展示了一个令人惊叹的突破:一个近万亿参数的 MoE 大模型在短短2秒内就能理解并解答一道高等数学题。而这一切都在没有使用 GPU 的情况下实现，显示出华为在自主可控的国产算力和模型训练方面的强大能力。在技术层面，华为的团队成功提升了训练系统的整体性能，通过智能选择并行策略和优化计算通信，大幅提高了集群的训练效率。在其技术…
AI资讯
- 1
- 0
AI逻界6月8日