Agent 工作负载会怎样重塑 AI 推理服务器？

36氪的《Agent改写算力账本，CPU不再是AI服务器的配角？》把“Agent 是否让 CPU 重新成为主角”推到台前；第一财经对陆家嘴金融沙龙的报道，则记录了“Agent 时代，CPU 与 GPU 协同完成任务”的行业判断。

核心判断是：Agent 并没有让 CPU 取代 GPU，而是改变了 AI 推理服务器的评价标准。单卡峰值不再是唯一指标，CPU 调度、GPU 计算、内存容量与带宽、网络和外部工具 I/O 共同决定的整机吞吐与端到端延迟，才是用户真正感知的性能。

从一次问答到长链路任务，瓶颈不再只有 GPU

单轮问答通常可以抽象成“一次输入、一次生成”，Agent 则更像一条持续运行的软件链路：理解意图、规划步骤、调用模型与工具、回填结果、维护状态，再决定是否继续执行。OpenRouter 数据显示，Agentic 工作负载平均每次请求消耗的 Token 约为普通 Human 工作负载的 15 倍；实际任务往往还包含多轮推理和工具往返，因此成本与延迟都难以只按单次生成量衡量。

负载形态也在分化。面向用户的短交互需要快速返回首轮结果，后台长任务则可以容忍更长的执行时间，优先考虑批量吞吐和资源利用率；单 Agent 主要是顺序推进，多 Agent 分支则会产生并发调用、上下文复制和状态同步。模型计算越密集，GPU 压力越明显；工具调用越多，CPU 与外部 I/O 等待越容易成为关键路径。

这意味着瓶颈会随任务链移动。短上下文、小模型推理可能主要消耗 GPU 计算；长上下文会增加 KV Cache 和内存带宽压力；工具密集型任务则会频繁等待数据库、浏览器或企业接口。若服务器只监控 GPU 利用率，而不统计请求排队、上下文组装、工具延迟和内存交换，就可能把等待时间误判为“算力不足”。

对推理系统而言，需要优化的是一条完整请求链。调度器需要识别任务阶段，区分哪些步骤交给 GPU 并行计算，哪些步骤由 CPU 编排，并在工具返回后决定继续执行、进入等待状态还是重新调度。这正是 Agent 负载相较于传统单轮推理的根本变化。

CPU、GPU 和内存要按任务链协同

CPU 与 GPU 不应被理解为互相替代的两种“算力”。更合理的做法是按照任务链划分职责。

Agent 推理内存也不是一个单纯的容量问题，而是由模型权重、活跃 KV Cache、长上下文、工具结果和运行状态共同构成的“活跃工作集”。通常，热点权重和正在使用的 KV Cache 应尽量靠近显存，也就是 HBM；访问频率较低但仍需频繁换入换出的权重、上下文和工具结果，可以放在主存；日志、任务检查点、原始文档及持久化状态则更适合进入存储层。

位置选择取决于复用频率和延迟要求。把所有内容都放入显存，未必能提高整体效率，反而可能挤占真正需要计算的 KV Cache；把所有上下文长期放在存储中，又会让每一步工具回填和状态恢复产生额外等待。对多 Agent 分支而言，多个执行链同时复制上下文，还会进一步放大主存带宽和容量压力。因此，CPU 调度的目标不是简单“把任务交给 GPU”，而是持续为 GPU 准备合适的数据，同时管理无法并行的工具、I/O 和状态操作。

在线推理与后台任务不应采用完全相同的调度目标。在线任务更关心尾延迟和交互体验，需要控制排队时间，并尽量减少一次请求中的关键路径等待；后台任务则更适合批处理和连续填充计算资源，以总吞吐优先。如果两类流量直接混合，高优先级请求可能被大批量任务阻塞。调度和可观测性因此都要覆盖 GPU 执行、主机内存、模型队列、网络以及外部工具调用，而不能只观察显卡利用率。

推理节点会从单一大机走向分层系统

未来的推理部署不会只呈现“所有推理都集中到中心 GPU 集群”或“全部下沉到边缘”这两种单一形态，更现实的是中心、边缘与云端协同。中心 GPU 集群适合承担计算密集型、需要大模型或大量并发分支的任务；边缘 CPU 与小模型节点可以负责前置路由、轻量判断、敏感数据处理以及工具协作；云端则承接突发流量和较重的模型推理。

这种分层也与训练和推理的网络差异有关。训练任务通常在数据中心内部产生大量东西向流量，而推理更直接面向用户，呈现更多南北向流量，因此更看重低延迟和靠近消费端。Agent 又在传统在线推理之上增加了工具调用和状态往返，边缘节点是否值得部署，取决于它能否减少请求绕行，而不是简单把更多模型复制到现场。

本地部署与云服务的选择，也因此从“买什么硬件”转向“承担多少运营复杂度”。本地部署可以保留对数据和硬件的直接控制，但需要自行处理设备采购、供电与散热、网络稳定性、驱动和依赖环境、服务编排、安全加固以及持续运行问题。云服务能够通过预置镜像、中间件和托管组件缩短部署过程，并提供弹性伸缩、故障自愈、版本回滚以及 VPC、mTLS、RBAC 等安全能力，但这并不意味着数据边界、权限控制和外部依赖可以省略。

对多数企业 Agent 而言，混合部署往往比纯本地或纯云更均衡：边缘侧保留敏感数据和关键工具，中心或云端 GPU 承接高成本模型计算，再通过统一的任务标识、状态管理和可观测性串联两端。Agent 的状态不能只存在于对话上下文里，可靠部署还需要独立的数据与状态层，以支持检索、恢复、审计和跨节点协作。

基础设施约束也随之增加。AI 集群不仅需要高速互连和可靠的电源支持，还要处理持续攀升的机架功率。受访者估计，GPU 机架可能需要约 50kW，而面向未来的最高 250kW 设计，从建设之初就可能需要液冷。在这种约束下，“GPU shards”开始成为探索方向，即把较小工作负载块并行处理；液冷也可能从单机配置转为按服务提供，把高密度散热纳入基础设施运营能力。