79%企业GPU利用率低于50%，问题出在哪

nvidia-smi 显示的 GPU-util 只有 50%，不能据此判断企业买了一半用不上的 GPU。它是采样周期内 GPU 上有计算内核执行的时间占比，回答的是“GPU 上有 kernel 跑了多久”，而不是算力、显存带宽或有效吞吐用了多少。因此，50% 说明存在 GPU 没有执行 kernel 的时段，但不能单凭这个数字判断硬件买多了多少。

“79%”只能作为问题线索，不能视为经过核实的全球企业调查。36氪文章标题给出的信息是，79% 的企业 GPU 利用率不足一半。现有材料没有说明样本范围、采样窗口以及单卡还是集群聚合口径，因此不能进一步推导“全球企业都浪费了 79% 的 GPU”。排查 GPU 利用率低于 50% 的原因，需要区分训练、推理和平台调度：训练先查数据管线，推理先查请求批量与并发，再决定是否需要调整硬件。

79%低于50%，不等于一半算力闲置

通常所说的“nvidia-smi GPU-util”是忙闲时间指标，而不是效率指标。即使读数达到 100%，也可能只是 kernel 持续存在，实际的矩阵规模、算术强度、显存带宽和有效样本吞吐并不高；反过来，低利用率也不一定源于 GPU 性能不足。

读数时还要分清三种口径：瞬时截图与周期均值、单卡与集群平均值、忙时与空闲时段。集群平均值可能掩盖慢卡拖尾，也可能把调度保留的空闲卡计入分母；推理流量存在波峰波谷，闲时利用率低未必是故障。因此，排查企业GPU利用率低时，应保留时间序列，而不是截取某一秒的读数。例如，可以每 5 秒记录一次：

nvidia-smi --query-gpu=timestamp,index,utilization.gpu,memory.used --format=csv -l 5

这条命令只能帮助定位 GPU 的空闲窗口。是否真的“浪费”，还要结合吞吐量、端到端延迟和单位有效产出消耗的 GPU-hours 判断：满足相同延迟与收敛目标时，消耗更少 GPU-hours，才是效率改善。

训练和推理分别卡在哪一段

训练任务应沿着“存储—CPU 预处理—传输—计算”逐段排查。数据存储与 GPU 集群跨地域，会让计算等待网络和小文件 I/O；大量分散的小文件也不利于连续读取。可以先把数据同步到本机 SSD 做对照测试，以排除存储介质的影响，再视情况把图片等小文件打包为 HDF5、PTH、LMDB 或 TFRecord 等连续格式。

数据进入本地后，瓶颈可能转移到 CPU。DataLoader 工作进程不足、预处理过慢、预取缺失或主机内存未锁定，都会造成 GPU 等待。PyTorch 可检查 num_workers、prefetch_factor 和 pin_memory=True；TensorFlow 则可检查 num_parallel_reads、num_parallel_calls 与 Dataset.prefetch()。这些参数不存在通用最优值，worker 数量和预取量需要结合 CPU 核数、内存带宽与 I/O 压测，否则并行过度也可能转化为 CPU 争用。

推理任务的链路不同。请求到达不均或并发不足，会让 batch 太小，GPU 得不到足够工作；batch 过大又可能造成显存溢出。CPU 前后处理、频繁切换模型，也可能让 GPU 等待输入。在延迟预算允许的范围内，通常应先合批请求、提高并发，并让预处理与推理重叠，再考虑换卡。batch size 需要通过实验选择，不能只追求更大的数值；它同时影响吞吐、显存占用和延迟。

分布式任务还要另查通信与同步、慢卡拖尾；平台侧则要区分调度保留的空闲卡，以及启动、保存检查点时产生的任务空洞。

先调软件还是先换硬件

更稳妥的顺序是先处理软件和调度，再决定是否扩缩容或换硬件。

1. 统一基线。 固定数据、模型、batch、请求并发和采样窗口，记录 GPU 利用率、吞吐量、端到端延迟、收敛情况与 GPU-hours。
2. 定位瓶颈。 使用 nvidia-smi 观察空闲窗口，再用 PyTorch Profiler 检查耗时最长的操作，区分数据等待、CPU 瓶颈、GPU 计算、通信和调度问题。
3. 逐项优化。 依次处理数据管线、批大小、混合精度、异步计算与调度策略。混合精度需要同时验证数值稳定性和收敛结果，不能只看训练是否更快；异步计算则用于重叠 CPU 与 GPU 工作。
4. 再判断硬件。 如果计算单元确实已经饱和，而业务吞吐或延迟目标无法满足，再考虑扩卡或换卡；如果空闲主要来自低流量或调度保留，则应先调整资源策略。

最后，在固定数据、模型和负载条件下做一次 A/B 测试：A 保持当前配置，B 只改变一组变量，同时比较吞吐量、端到端延迟、收敛情况和每单位有效产出的 GPU-hours。只有在吞吐量提高、延迟与收敛不劣化、GPU-hours 下降时，这次 GPU 性能优化才算成立。