当下,“养龙虾”成为全民热点话题,为千行万业尤其是中小企业提供了建设智能化工作流程的清晰思路。会上,华为云SMB解决方案与持续运营部部长刘杰用“一半是海水,一半是火焰”生动形容了目前企业智能化转型的现状:以OpenClaw为代表的先进生产力工具层出不穷,但AI实际应用往往面临着成本高山、技术壁垒、场景错位等挑战。
-
在模型服务层,华为云支持业界主流开源模型,让企业既能根据业务需求灵活选择,也能结合自有数据低成本微调专属模型; -
在智能体平台层,华为云提供易用高效的Agent开发环境,助力开发者和中小企业面向行业结合场景打造企业级智能体; -
在智能体应用层,华为云联合伙伴深入场景,覆盖洞察分析、营销运营、协同办公、开发运维、内容制作等高频需求。
Agent时代,企业普遍面临算力痛点:Agent自主规划、多轮迭代、长上下文导致Token消耗量呈指数级增长,如何有效降低Token成本,成为核心和迫切的挑战。
为此,华为云发布了黑科技——柔性智算FlexNPU,通过构筑强大而灵活的AI Infra层算力调度技术,大幅提升推理池的有效算力利用率,从而以相同AI硬件算力投入,提供更大的Token吞吐输出。
柔性智算FlexNPU具备极致共享、极致弹性和极致高可用3大属性:
大模型推理方面,FlexNPU通过引入基于柔性算力的PD动态混部、在离线推理混部等创新技术,完美解决了传统PD分离架构下Prefill和Decode集群不均衡的AI Core与显存利用率,以及推理业务潮汐变化规律所导致的大量AI算力空转浪费难题,将带来至少40%的Token性价比提升空间。
小模型推理方面,FlexNPU通过实现最小粒度达1% NPU卡及128MB显存的颗粒度的AI Core时分复用,以及显存空分复用,为小模型提供真正完美匹配其算力诉求、量体裁衣的虚拟NPU资源,将小模型的平均算力成本降低2-3倍以上。
推理高可用保障方面,FlexNPU通过软硬解耦及Token级KV Cache的实时快照,使得上层推理框架不再需要感知底层的硬件故障,即可实现故障秒级快速恢复及断点续推,大大减少了Agent推理会话重计算开销,提升了用户的推理体验。
FlexNPU的核心价值体现在无需再为大模型推理的闲置算力,以及小模型推理的独占算力浪费买单,更不再需要为昂贵的故障重算买单,真正实现了AI算力分配供给从“资源模式”到“效率模式”的范式转变。
注:本文转自华为云,版权归作者所有




沪公网安备 31010702006392号