AI服务器上的DRAM资源按各类场景的需求配置，在LLM负载主导的场景中DRAM的整体利用率普遍偏低。

AI加速器（如GPU、NPU、TPU等）的HBM容量增长速度远落后于大模型存储需求的增长速度。

以存代算，降低推理时延迟

以存代算技术将多轮对话的历史KV Cache保存至EMS，在后续对话中直接重复使用，实现AI推理的首Token时延降低80%，降低端到端的推理成本。

显存扩展技术将模型分层存储在显存和EMS中，无需堆砌NPU可存下TB级大模型，使NPU算力节省超50%。

算力卸载技术将KV相关的计算卸载至EMS中的CPU，模型计算在NPU中进行，实现AI推理吞吐量提升100%。

直面LLM难题，释放推理算力

华为云通过EMS加速推理业务，提升推理业务吞吐，降低推理时延，降低推理资源部署成本。

• EMS缓存多轮对话的历史KV Cache，历史KV Cache命中时无需重新做推理计算，通过以存代算，可提升推理吞吐，节省AI推理算力资源。
• EMS采用半托管融合部署，EMS数据面部署在AI节点本地，高效纳管AI节点空闲内存资源，提供加速服务、降低存储成本。