随着大模型训练和推理对算力需求的爆炸式增长，传统计算架构已难以支撑AI技术的代际跃迁。

新一代昇腾AI算力CloudMatrix384，支持最大规模384卡高速总线互联，训练推理性能大幅度提升。纵向扩展：通过高速网络交换机组成384卡超节点；横向扩展：参数面交换机最大支持16万卡集群规模。

对于万亿、十万亿参数的大模型训练任务，在云数据中心，还能将432个超节点级联成最高16万卡的超大集群；同时，超节点还可以支持训推算力一体部署，如“日推夜训”，训推算力可灵活分配，帮助客户优化资源使用。

最大支持16万卡集群，用高速总线互联替代传统传统以太，通信带宽提高15倍，通信带宽提升15倍，通信时延降低10倍。

支持EMS服务，跨节点共享KV缓存，大幅降低首Token时延。支持SFS Turbo服务，实现AI数据加载速度提升10倍。

超节点+大规模专家并行的技术，支持单卡性能提升近4倍，支持一卡一专家分布式推理部署，相较于非超节点推理性能提升4X。

支持朝退夜训，通过训推共池，训练资源池和推理资源池，资源灵活调度，实现资源利用提升30%。

当前，昇腾AI云服务已经成为AI基础设施的优选，为超过1300家客户提供澎湃的AI算力，加速千行万业智能化升级。

注：本文素材来自华为官网，版权归作者所有