随着AI应用加速落地，算力竞争的重心正从训练阶段的峰值性能，进一步转向推理阶段的系统效率。面对持续增长的Token生成需求，如何让计算、访存、互联和调度更好协同，正在成为大规模推理部署必须回答的问题。

7月18日，在2026世界人工智能大会（WAIC）上，国内AI芯片企业云天励飞公布了未来两年多的AI推理芯片路线图。公司计划推出DeepVerse100P、DeepVerse100D和DeepVerse100L三款云端大算力推理芯片，分别针对Prefill、Decode和Decode FFN三个环节进行专用优化，并推动三款芯片在万卡异构集群中分离部署、协同运行。

“AI算力的竞争已经进入系统级效率的阶段。”云天励飞副总裁罗忆在重构算力论坛接受观察者网采访时表示。

不只看单卡性能，推理负载走向精细化

大模型推理并不是单一负载。Prefill需要集中处理输入上下文，对计算能力要求较高；Decode采用逐Token生成方式，对内存带宽和数据访问效率更加敏感。随着MoE等模型架构发展，Decode内部的Attention与FFN也呈现出不同的计算、访存和通信需求。

罗忆表示，让一套通用算力资源同时承载差异明显的负载，容易造成资源竞争。当推理规模进一步扩大，单颗芯片的峰值性能已经不能完整反映系统效率，不同环节所需的计算、内存和互联资源必须进行更精细的匹配。

按照规划，DeepVerse100P面向百万级上下文Prefill场景，通过独立资源池减少长上下文处理对Decode生成吞吐的影响；DeepVerse100D面向Decode，拥有数倍于主流芯片的内存带宽，支持1024卡Scale-up及光互联系统架构，可按需建立光路直连并动态重构光路，减少多跳电交换带来的排队、拥塞和中间转发开销；DeepVerse100L则面向Decode FFN，采用3D Memory架构，相比主流HBM大幅提升内存带宽，并通过低延迟芯片互联和激活数据快速传输，提高计算与通信的并行效率。

罗忆认为，这一路线并非追求用一颗芯片覆盖所有场景，而是围绕中国AI产业不断增长的推理需求，探索一条能够持续提高Token生成效率、降低单位Token成本的技术路径。

从芯片到集群，系统级协同成为核心

在万卡规模的推理集群中，系统效率并非单卡性能的简单叠加。Prefill与Decode、Attention与FFN如果共享同一套通用资源，容易产生资源竞争；随着集群规模扩大，通信阻塞、资源等待和尾延迟也会进一步影响整体效率。

云天励飞的思路，是按照不同推理阶段的负载特征分别配置芯片和资源池，再通过高速互联形成协同运行的异构算力系统。通过分离不同负载、减少资源干扰，集群可以根据实际需求配置计算、访存和通信资源，从而提高资源利用率和Token生成效率。

硬件异构程度和集群规模提升，也对软件栈提出了更高要求。云天励飞持续建设IFWA软件栈，围绕Transformer主流架构完善PyTorch ATen算子适配，并加强对vLLM、SGLang等主流推理框架的支持，以降低模型向DeepVerse平台迁移和部署的门槛。

与此同时，公司还通过开源Houmao多Agent异构编程框架、将成熟的Triton算子能力融入FlagOS等方式，提高模型和算子的适配效率。今年5月，云天励飞联合产业伙伴发起“1001计划”，希望推动芯片、系统、软件、模型和应用等环节加强协同，共同提升Token生成性价比。

“国产芯片的竞争，最终比的不是技术参数，而是谁能让用户用得起、用得好、用得放心。”罗忆表示，“我们希望用三款专用芯片加上系统化集群方案，把这条路走出来。”