在实测场景中达到H200的性能水平后，国产GPU的竞争，开始进一步转向系统效率、软件适配与实际交付。

本周的天数智芯媒体开放日上，最新一代天垓300与H200的实机对比，是最直观的性能展示。让GPU与专用芯片组成异构系统，是对推理效率的新探索。软件栈引入Agent与Skills，则试图解决客户部署、适配和优化的工程难题。

天数智芯表示，今年完成的一组第三方测试中，在典型PD分离部署下，天垓300折算单卡端到端吞吐达到H200的1.05倍。这表明国产通用GPU在特定高端推理负载中，已经拥有与H200直接竞争的性能基础。

但从性能接近到客户采购，再到持续扩容，中间仍隔着系统效率、软件适配和稳定交付。当硬件具备竞争力，国产GPU怎样把这种能力转化为客户持续使用的理由？当推理催生更多专用芯片，通用GPU的独特价值是什么？

从云端天垓300到端侧彤央系列，天数智芯也在拓展产品布局，将竞争延伸到不同形态的算力需求中。

天垓300对比H200实测，性能小幅领先

过去很长一段时间，峰值算力是国产AI芯片受到关注的重要指标。但对最终用户而言，设备每秒真正产出多少有效Token，比参数表上的理论算力更接近采购决策。

天数智芯披露的第三方测试覆盖四大主流模型、三类场景。其中，1.05倍指典型PD分离部署下，折算单卡的整体端到端吞吐，反映的是特定模型与部署条件下的系统表现。

另外，根据天数智芯性能实验室的数据，在GLM-5.3的64K长上下文场景下，保障同等用户体验时，天垓300的MoE吞吐达到H200的1.15倍。在8K至128K长上下文的Agent场景中，首字延迟较H200降低约10%至30%。

前者关系到系统能够承接多少请求，后者关系到用户发出请求后需要等待多久，它们对应不同工作负载与性能指标。

天垓300能够在这些场景中取得性能领先，一个关键是针对实际负载进行了架构优化。

基于天枢架构的天垓300，单卡显存容量达到144GB，并围绕Attention、MoE等计算环节进行优化。长上下文需要容纳更多状态，也增加了Attention计算压力。MoE虽然通过激活部分专家控制计算量，却带来了小规模矩阵计算、专家分配和数据交换等新问题。

为此，天垓300让Tensor Core与Vector Core并行处理Attention中的矩阵运算和Softmax等向量操作，同时针对MoE中的小规模矩阵、低精度计算与通信协同进行优化。

这些针对性设计，有助于减少不同计算环节之间的等待，把更多硬件资源转化为实际产出。

此次披露的测试与现场演示，展现了天垓300进入高端推理实际竞争区间的能力。对客户而言，下一步要比较的，是在同样的响应要求下，系统能承接多少请求、持续运行表现如何，以及需要付出多少设备、电力和运维成本。

推理需求催生专用芯片，GPU的价值会被削弱吗？

随着推理需求快速增加，以LPU为代表的专用推理芯片备受关注，不同计算环节对硬件的要求也进一步分化。

Prefill处理输入，通常更偏向计算密集型任务；Decode逐步生成Token，更容易受到访存、任务启动和同步开销的影响。进一步拆开，Attention与FFN对计算、带宽和存储的需求也不相同。

当某类任务足够稳定、规模足够大，专用芯片就有机会通过针对性设计，获得更好的性能或能效。让一种通用GPU处理所有环节，未必始终对应最低的成本。

天数智芯展示的AFD分离方案，就是对这种分工的回应。

它在Prefill与Decode分离的基础上，继续拆分Decode阶段的Attention与FFN：天垓300承担Prefill全流程计算，以及Decode中的Attention；合作厂商的XPU承担FFN专家网络计算。

运行过程中，GPU把中间激活数据发送给XPU，XPU完成计算后返回结果，继续推进模型生成。天数智芯给出的对比结果显示，在所展示的方案中，Decode推理延迟降低60%。

天数智芯AI与加速计算负责人单天逸表示：“未来的AI算力系统，不一定由一种芯片包打天下。关键是如何把它们高效组织起来，让整个系统发挥更大的价值。”

异构分工为不同芯片提供了合作空间，GPU的通用性则关系到系统能否持续适应模型变化。

天数智芯副总裁邹翾对雷峰网表示，专用硬件可以在固定工作负载中实现较大的性能提升，但模型与算法仍在快速迭代，公司坚持以通用框架为基础，结合专用加速能力。

在实测场景中达到H200的性能水平后，国产GPU的竞争，开始进一步转向系统效率、软件适配与实际交付。

本周的天数智芯媒体开放日上，最新一代天垓300与H200的实机对比，是最直观的性能展示。让GPU与专用芯片组成异构系统，是对推理效率的新探索。软件栈引入Agent与Skills，则试图解决客户部署、适配和优化的工程难题。

天数智芯表示，今年完成的一组第三方测试中，在典型PD分离部署下，天垓300折算单卡端到端吞吐达到H200的1.05倍。这表明国产通用GPU在特定高端推理负载中，已经拥有与H200直接竞争的性能基础。

但从性能接近到客户采购，再到持续扩容，中间仍隔着系统效率、软件适配和稳定交付。当硬件具备竞争力，国产GPU怎样把这种能力转化为客户持续使用的理由？当推理催生更多专用芯片，通用GPU的独特价值是什么？

从云端天垓300到端侧彤央系列，天数智芯也在拓展产品布局，将竞争延伸到不同形态的算力需求中。

天垓300对比H200实测，性能小幅领先

过去很长一段时间，峰值算力是国产AI芯片受到关注的重要指标。但对最终用户而言，设备每秒真正产出多少有效Token，比参数表上的理论算力更接近采购决策。

天数智芯披露的第三方测试覆盖四大主流模型、三类场景。其中，1.05倍指典型PD分离部署下，折算单卡的整体端到端吞吐，反映的是特定模型与部署条件下的系统表现。

另外，根据天数智芯性能实验室的数据，在GLM-5.3的64K长上下文场景下，保障同等用户体验时，天垓300的MoE吞吐达到H200的1.15倍。在8K至128K长上下文的Agent场景中，首字延迟较H200降低约10%至30%。

前者关系到系统能够承接多少请求，后者关系到用户发出请求后需要等待多久，它们对应不同工作负载与性能指标。

天垓300能够在这些场景中取得性能领先，一个关键是针对实际负载进行了架构优化。

基于天枢架构的天垓300，单卡显存容量达到144GB，并围绕Attention、MoE等计算环节进行优化。长上下文需要容纳更多状态，也增加了Attention计算压力。MoE虽然通过激活部分专家控制计算量，却带来了小规模矩阵计算、专家分配和数据交换等新问题。

为此，天垓300让Tensor Core与Vector Core并行处理Attention中的矩阵运算和Softmax等向量操作，同时针对MoE中的小规模矩阵、低精度计算与通信协同进行优化。

这些针对性设计，有助于减少不同计算环节之间的等待，把更多硬件资源转化为实际产出。

此次披露的测试与现场演示，展现了天垓300进入高端推理实际竞争区间的能力。对客户而言，下一步要比较的，是在同样的响应要求下，系统能承接多少请求、持续运行表现如何，以及需要付出多少设备、电力和运维成本。

推理需求催生专用芯片，GPU的价值会被削弱吗？

随着推理需求快速增加，以LPU为代表的专用推理芯片备受关注，不同计算环节对硬件的要求也进一步分化。

Prefill处理输入，通常更偏向计算密集型任务；Decode逐步生成Token，更容易受到访存、任务启动和同步开销的影响。进一步拆开，Attention与FFN对计算、带宽和存储的需求也不相同。

当某类任务足够稳定、规模足够大，专用芯片就有机会通过针对性设计，获得更好的性能或能效。让一种通用GPU处理所有环节，未必始终对应最低的成本。

天数智芯展示的AFD分离方案，就是对这种分工的回应。

它在Prefill与Decode分离的基础上，继续拆分Decode阶段的Attention与FFN：天垓300承担Prefill全流程计算，以及Decode中的Attention；合作厂商的XPU承担FFN专家网络计算。

运行过程中，GPU把中间激活数据发送给XPU，XPU完成计算后返回结果，继续推进模型生成。天数智芯给出的对比结果显示，在所展示的方案中，Decode推理延迟降低60%。

天数智芯AI与加速计算负责人单天逸表示：“未来的AI算力系统，不一定由一种芯片包打天下。关键是如何把它们高效组织起来，让整个系统发挥更大的价值。”

异构分工为不同芯片提供了合作空间，GPU的通用性则关系到系统能否持续适应模型变化。

天数智芯副总裁邹翾对雷峰网表示，专用硬件可以在固定工作负载中实现较大的性能提升，但模型与算法仍在快速迭代，公司坚持以通用框架为基础，结合专用加速能力。