不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会

01

引子：黄仁勋的回应，平台与专用之争

大摩的报告预测谷歌在2027-28年要卖出1200万片TPU，几乎是之前预测的两倍，每卖50万片，谷歌就能增加130亿美元收入，看起来英伟达要被狙击了。

但黄仁勋的回应很有意思，他说，我们跟ASIC（专用芯片）斗了很久了，谷歌的TPU就是一种ASIC。是的，谷歌干得不错，但有个问题：ASIC是"专才"，干一件事可以，但换个赛道就没用了。而英伟达是"通才"，它的CUDA架构，像一个开放的操作系统，不仅能搞聊天机器人，还能做工业设计、药物研发、工程模拟，这些市场，ASIC进不去。

这就是平台的力量。

就像苹果的App Store，开发者都来这里，生态就无敌了，谷歌的TPU，更像一个服务于自家帝国的"御用作坊"，而英伟达，无处不在。所有云厂、所有服务器厂商、企业内部、边缘计算，都在用它，形成了一个开放军火库——谁都可以买武器。

谷歌的策略，本质上是想建立一个从芯片到应用全封闭的垂直帝国。但这种“自给自足”的体系，真的能打败一个开放、网络效应巨大的平台吗？历史上，封闭系统对抗开放生态，胜算几何？

但这场争论背后，隐藏着一个更深层的趋势：AI计算的重心正在从训练转向推理，而推理市场的爆发，正在重塑整个AI基础设施格局。

02

趋势一：从百万卡到千万卡，推理需求的指数级爆发

过去两年，AI行业的焦点是训练，OpenAI、Google、Meta在训练上烧了数十亿美元，构建了超大规模的GPU集群。

但现在，这个市场正在收敛。

根据公开数据，Meta在2024年底拥有超过50万张H100等效GPU，用于训练Llama 4；OpenAI的最大训练集群规模约为10万张H100；Google的TPU集群可以扩展到9216片芯片的超级集群。这些数字听起来很大，但增长速度正在放缓。

为什么？因为头部大厂已经建立了足够的训练能力，中小厂商则直接使用开源模型，训练市场正在从增量变成存量竞争。

而推理市场，正在爆发。

根据Fortune Business Insights的报告，全球AI推理市场规模在2024年为914亿美元，预计到2025年将达到1037亿美元，到2032年将达到3494亿美元，对应19%以上的年复合增长率，成为真正的黄金市场。

 图1：AI推理市场规模增长预测（2024-2032），年复合增长率19.2%

更关键的是，推理的GPU需求量正在超越训练。

一个简单的计算：假设一个模型的训练需要10万张H100，训练周期是3个月。但这个模型部署后，每天要处理10亿次推理请求，如果每次推理需要1秒的GPU时间，那么每天需要的GPU时间是10亿秒 = 1157万GPU小时，换算成GPU数量，需要约5万张GPU常驻运行。

而这只是一个模型，如果有100个这样的模型，推理需求就是500万张GPU。

图2：训练vs推理的GPU需求增长趋势（2023-2028），推理需求在2024年超越训练

这就是推理市场的规模。

更重要的是，推理和训练的需求特征完全不同。

训练是批量、长时间、多卡互联的，一个训练任务可能需要数千张GPU，运行数天甚至数周，GPU之间需要高带宽互联（NVLink、InfiniBand），这种需求适合固定集群。

推理是单次、实时、低延迟的，一次推理请求可能只需要1张GPU，运行几秒钟，对多卡互联没有强需求。但推理的并发量极高、波动极大，峰值和低谷之间差距惊人。

 图3：训练与推理的工作负载特征对比雷达图

举个例子，ChatGPT的日活用户超过2亿，假设每个用户每天发起10次对话，每次对话需要1秒的GPU时间，那么每天的总GPU时间是20亿秒 = 2315万GPU小时，如果用固定集群，需要约10万张GPU常驻。

但问题是，这10万张GPU在凌晨3点的利用率可能只有10%，在晚上8点的利用率可能超过200%（需要排队），这种流量的不均匀性，让固定集群的效率极低。

这意味着推理不再适合固定资源模式，而需要面向需求波动的弹性资源体系。

根据Morgan Stanley的报告，2025-2028年全球数据中心基础设施投资将达到3万亿美元，其中很大一部分将用于构建支持弹性推理的基础设施。

这就是第一个趋势：从百万卡的训练集群，到千万卡的推理资源池，AI基础设施正在经历一次新的范式转移。

03

趋势二：从通用GPU到异构算力，成本优化的军备竞赛

当推理需求爆发时，成本问题就成了生死线。

我们做过一个计算：如果用H100跑推理，一次视频生成的成本大约是0.5美元，听起来不多，但当你每天要处理100万次请求时，成本就是50万美元/天，一年就是1.8亿美元。

更要命的是，大部分推理任务根本不需要H100的算力，H100是为训练设计的，它的多卡互联、高带宽、大显存，在很多推理场景下实际上被浪费了。

这就给了异构算力机会。

谷歌的TPU战略，本质上是一场成本优化的豪赌。

根据Morgan Stanley的最新预测，谷歌的TPU产量将在2028年达到700万片（注：原报告的1200万片是累计出货量，年产量约为700万片），这是一个什么概念？

对比一下：英伟达在2024年的H100出货量约为150-200万片，如果谷歌能做到700万片，规模将是英伟达的3-4倍。

 图4：主要AI玩家的GPU/TPU部署规模对比

但这里有一个关键问题：谷歌的TPU主要是自用，而英伟达的GPU是卖给全市场。

谷歌为什么要自建这么大规模的TPU？答案很简单：成本。

根据行业估算，TPU在特定推理场景下的性价比是GPU的2-3倍，如果谷歌每天处理10亿次推理请求（包括搜索、YouTube推荐、Gemini对话等），用GPU的成本可能是每年50亿美元，用TPU可能只需要20亿美元，这意味着每年能省30亿美元。

这就是谷歌押注TPU的逻辑：通过垂直整合赢得成本优势，打造结构性壁垒。

谷歌不是唯一押注异构算力的玩家。

AWS推出了Inferentia和Trainium芯片，专门用于推理和训练，根据AWS的说法，Inferentia的性价比是GPU的40%（即成本降低60%）。

微软Azure则与AMD合作推出基于Instinct GPU的实例，同时也在打造自己的AI芯片。

它们背后的逻辑一致：在推理市场，专用芯片比通用GPU更具成本优势。

但这里有一个矛盾：专用芯片的生态远不如CUDA成熟，开发者需要重写代码、重新优化、重新测试，这个迁移成本，可能抵消掉硬件的成本优势。

所以，真正的趋势不是"GPU vs ASIC"，而是异构算力的混合调度。

未来的AI推理平台，不会只用一种芯片，而是根据任务特征，动态选择最优的算力资源。

具体来说：

图6：AI推理硬件全景图

04

趋势三：从常驻集群到Serverless，这是效率革命的终局

云厂商面临一个巨大的困境：GPU的利用率太低。

根据行业数据，传统固定集群的GPU利用率平均只有30-50%，换言之，超过一半的算力在被浪费。

为什么利用率这么低？因为流量波动大，而固定集群无法弹性伸缩。

举个例子，一个电商平台的AI推理需求，在双十一期间可能是平时的50倍，如果用固定集群，要么平时浪费资源，要么大促时扛不住。

更要命的是，不同客户的流量高峰完全不同，电商客户的高峰是晚上8-10点，内容创作者的高峰是下午2-6点，企业客户的高峰是工作日。如果为每个客户都准备固定资源，利用率会更低。

这就是云厂商的困境：GPU资源稀缺且昂贵，但利用率极低。

Serverless推理的核心思想是：用多少付多少，不用不付费。

这不是一个新概念，AWS Lambda在2014年就推出了Serverless计算。但在AI推理领域，Serverless直到最近才开始成为主流。

为什么？因为GPU的冷启动问题。

CPU的Serverless可以在几百毫秒内启动，但GPU的冷启动通常需要30-60秒，这对于实时推理来说太慢了。

但现在，这个问题正在被解决。

通过预热池、智能预测、分层启动等技术，GPU的冷启动时间可以降到5秒以内，这让Serverless推理成为可能。

 图7：GPU冷启动时间优化对比，从45秒降到5秒以内

图8：固定集群vs Serverless的流量模式和GPU利用率对比

根据我们的观察，Serverless推理正在快速渗透市场。

RunPod、Modal这些Serverless推理平台，在过去一年的增长速度都超过了300%，他们的共同特点是：开发者不需要管理GPU集群，只需要提交任务，系统自动分配资源、执行任务、释放资源。

 图9：主要Serverless推理平台增长趋势（2023-2024），年增长率超过300%

这种模式的优势是：

1、成本优化：不用时不付费，利用率可以达到80%以上（相比固定集群的30-50%）

2、弹性扩展：自动根据流量调整资源，应对突发需求

3、开发者友好：屏蔽底层复杂性，专注业务逻辑

 图10：固定集群vs Serverless在不同流量场景下的成本对比，Serverless可节省25-85%

但Serverless推理的技术挑战也很大：

•冷启动问题：如何快速启动GPU实例？

•资源调度：如何高效分配异构算力？

•任务编排：如何处理高并发、长尾任务？

这些挑战，正在被一批开源和商业项目攻克。

Serverless推理的未来，不是某一个平台的胜利，而是开放生态的胜利。

RunPod、Modal这些商业平台做得不错，但它们是封闭的，开发者无法定制、无法自建、无法掌控数据。

而开源的Serverless推理系统，正在快速崛起。

图11：开源vs商业Serverless平台特性对比，各有优势

这些开源系统的共同特点是：

•支持异构算力：可以混合使用GPU、TPU、ASIC

•Kubernetes原生：易于部署和管理

•自动扩缩容：根据队列深度动态调整资源

这就是第三个趋势：从常驻集群到Serverless，从封闭平台到开放生态，AI推理正在经历一次效率革命。

05

结语：Serverless推理，是AI基础设施的终局

回到文章开头的问题：谷歌的TPU能否挑战英伟达的霸主地位？

我的答案是：这不是一场零和博弈。

英伟达的CUDA生态是开放平台，谷歌的TPU是垂直整合，两者都有存在的价值。但真正的赢家，不是某一种芯片，而是那些能够灵活调度异构算力、提供Serverless体验、降低开发者门槛的平台。

AI推理的未来，不是某一种芯片的胜利，而是Serverless架构的胜利，是开放生态的胜利。

从百万卡到千万卡，从通用GPU到异构算力，从常驻集群到Serverless，这三大趋势正在重塑AI基础设施的格局。

图12：AI基础设施演进路线图，从训练时代到Serverless时代

而在这个过程中，谁能提供最高效、最灵活、最开放的Serverless推理平台，谁就能赢得这场AI基础设施的终极战争。

未来，算力应该像水、电、煤一样——不是比谁拥有更多，而是如何更好地用起来。

回顾历史，电力的普及不是因为某家公司拥有最多的发电厂，而是因为电网的建立让电力可以随时随地使用。今天，没有人会为了用电而自建发电厂，因为插上插座就能获得稳定的电力供应。

算力也应该如此。

今天的AI公司，还在为GPU资源焦虑：要不要自建集群？买多少张卡？如何应对流量波动？这就像100年前的工厂，还在纠结要不要自建发电厂一样。

但Serverless推理正在改变这一切。它让算力变成了一种按需使用的公共服务：

• 无需拥有：开发者不再买 GPU，只需调用 API 

• 按需付费：使用多少就付多少 

• 随时可用：像开水龙头一样轻触即可获得算力

• 无限弹性：从 1 张卡到 1 万张卡自动扩缩

这不是技术的进步，而是商业模式的革命。

谷歌的TPU、英伟达的GPU，都是在争夺"发电厂"的规模。但真正的未来，是谁能建立算力的"电网"——让算力像水电煤一样，成为一种随时可用、按需付费、高效分配的公共基础设施。

这就是Serverless推理的终极意义：让算力从稀缺资源变成公共服务，从资源竞争变成效用革命。

而在这个过程中，开放生态将是关键。就像电网需要统一的标准和协议，算力的"电网"也需要开放的接口、兼容的SDK、社区驱动的创新。这就是我们开源Waverless的原因——不是为了垄断，而是为了让更多人能够参与到算力基础设施的建设中来。

06

WaveSpeedAI的实践：开源Waverless，构建开放的Serverless推理生态

在WaveSpeedAI，我们每天处理超过百万次推理请求，深刻体会到了Serverless推理的价值。

但我们也发现，市场上缺乏一个开源的、高性能的、易于使用的Serverless GPU任务编排系统。

所以，我们决定开源我们的核心技术：Waverless。

Waverless是一个高性能的Serverless GPU任务编排系统，专为AI推理和训练工作负载设计，它的核心特性包括：

•Pull-based架构：Worker主动拉取任务，更好的负载均衡和容错能力

•Kubernetes原生：内置K8s应用管理，支持通过API部署GPU工作负载

•多Endpoint路由：支持多个独立的任务队列和Worker池

•自动扩缩容：根据队列深度动态调整Worker数量

图13：Waverless架构示意图，Pull-based Serverless GPU编排系统

我们在生产环境中使用Waverless支撑每日百万次推理请求，系统可靠性超过99.95%，平均响应时间20秒，成本降低80%。

我们希望Waverless能成为AI推理领域的"Kubernetes"——一个开放的、社区驱动的、被广泛采用的标准。

AI的未来，不应该被少数巨头垄断，它应该属于每一个开发者，每一个创业者，每一个有想法的人。

这就是我们开源Waverless的初心。

WaveSpeedAI是一家专注于AI多模态加速的技术公司，核心定位服务中小B（开发者+中小客户）。我们通过提供模型推理加速能力和API服务，帮助开发者和企业快速构建AI多模态应用。

1、联系我们

•官网：wavespeed.ai

•GitHub：github.com/WaveSpeedAI

•开源项目：Waverless

2、加入我们

如果你对Serverless推理感兴趣，欢迎：

•Star我们的GitHub项目：

https://github.com/WaveSpeedAI/waverless

•试用Waverless：按照README的Quick Start，5分钟部署你的第一个Serverless GPU集群

•贡献代码：我们欢迎任何形式的贡献

•加入社区：在GitHub Issues中讨论你的想法和需求

让我们一起，构建AI推理的Serverless未来。