---
title: "不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会"
id: "20251208A05S5K00"
publicationAccount: "非凡产研"
originalPublishedAt: "2025-12-08T15:29:22+08:00"
canonical: "https://ffcap.cn/research/20251208a05s5k00"
source: "https://view.inews.qq.com/a/20251208A05S5K00"
sourceAccount: "https://news.qq.com/omn/author/21759984"
language: "zh-CN"
tags: ["模型与基础设施","OpenAI","Google","具身智能","营销增长","开源与本地部署","收入与 ARR"]
---

# 不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会

文章中的“非凡产研”是原始发布账号署名，不代表已核实个人执笔作者。引用访谈或圆桌观点时，应按正文标明具体发言人及当时身份；无法确认时不要推断。日期为原始发表日期，历史信息以发布时点为准。

**01**

**引子：黄仁勋的回应，平台与专用之争**

大摩的报告预测谷歌在2027-28年要卖出1200万片TPU，几乎是之前预测的两倍，每卖50万片，谷歌就能增加130亿美元收入，看起来英伟达要被狙击了。

  

但黄仁勋的回应很有意思，他说，我们跟ASIC（专用芯片）斗了很久了，谷歌的TPU就是一种ASIC。是的，谷歌干得不错，但有个问题：**ASIC是"专才"，干一件事可以，但换个赛道就没用了**。而英伟达是"通才"，它的CUDA架构，像一个开放的操作系统，不仅能搞聊天机器人，还能做工业设计、药物研发、工程模拟，这些市场，ASIC进不去。

  

这就是**平台的力量**。

  

就像苹果的App Store，开发者都来这里，生态就无敌了，谷歌的TPU，更像一个服务于自家帝国的"御用作坊"，而英伟达，无处不在。所有云厂、所有服务器厂商、企业内部、边缘计算，都在用它，形成了一个开放军火库——谁都可以买武器。

  

谷歌的策略，本质上是想建立一个从芯片到应用全封闭的垂直帝国。但这种“自给自足”的体系，真的能打败一个开放、网络效应巨大的平台吗？历史上，封闭系统对抗开放生态，胜算几何？

  

但这场争论背后，隐藏着一个更深层的趋势：**AI计算的重心**正在从**训练转向推理**，而推理市场的爆发，正在重塑整个AI基础设施格局。

**02**

**趋势一：从百万卡到千万卡，推理需求的指数级爆发**

**01**

**训练市场正在收敛，推理市场正在爆炸**

  
过去两年，AI行业的焦点是训练，OpenAI、Google、Meta在训练上烧了数十亿美元，构建了超大规模的GPU集群。

  

但现在，这个市场正在收敛。

  

根据公开数据，Meta在2024年底拥有超过**50万张H100等效GPU**，用于训练Llama 4；OpenAI的最大训练集群规模约为**10万张H100**；Google的TPU集群可以扩展到**9216片芯片的超级集群**。这些数字听起来很大，但增长速度正在放缓。

  

为什么？因为头部大厂已经建立了足够的训练能力，中小厂商则直接使用开源模型，训练市场正在从增量变成存量竞争。

  

而推理市场，正在爆发。

  

根据Fortune Business Insights的报告，全球AI推理市场规模在2024年为**914亿美元**，预计到2025年将达到**1037亿美元**，到2032年将达到**3494亿美元**，对应**19%**以上的年复合增长率，成为真正的黄金市场。

![不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 · 原文图片 1](https://inews.gtimg.com/om_bt/OtvQ2Mut0Ap5CdafsGUCrDAw6MeKk1qlFZrOex3hW5PIsAA/1000)

 图1：AI推理市场规模增长预测（2024-2032），年复合增长率19.2%

更关键的是，**推理的GPU需求量正在超越训练。**

  

一个简单的计算：假设一个模型的训练需要10万张H100，训练周期是3个月。但这个模型部署后，每天要处理10亿次推理请求，如果每次推理需要1秒的GPU时间，那么每天需要的GPU时间是10亿秒 = 1157万GPU小时，换算成GPU数量，需要约**5万张GPU常驻**运行。

  

而这只是一个模型，如果有100个这样的模型，推理需求就是**500万张GPU。**

![不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 · 原文图片 2](https://inews.gtimg.com/om_bt/OCahKKyZR0P-XuvO6ka2chlj_j9q9m2qOxdeW-1vspTHwAA/1000)

图2：训练vs推理的GPU需求增长趋势（2023-2028），推理需求在2024年超越训练

**这就是推理市场的规模。**

**02**

**固定集群到弹性资源：基础设施变革**

  
更重要的是，推理和训练的需求特征完全不同。

  

训练是**批量、长时间、多卡互联**的，一个训练任务可能需要数千张GPU，运行数天甚至数周，GPU之间需要高带宽互联（NVLink、InfiniBand），这种需求适合固定集群。

  

推理是**单次、实时、低延迟**的，一次推理请求可能只需要1张GPU，运行几秒钟，对多卡互联没有强需求。但推理的并发量极高、波动极大，峰值和低谷之间差距惊人。

![不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 · 原文图片 3](https://inews.gtimg.com/om_bt/OWbbXeEofUvE-TWULPh4GYp-G6U2s5j1cVZQbqCbxHwYwAA/1000)

 图3：训练与推理的工作负载特征对比雷达图

举个例子，ChatGPT的日活用户超过2亿，假设每个用户每天发起10次对话，每次对话需要1秒的GPU时间，那么每天的总GPU时间是20亿秒 = 2315万GPU小时，如果用固定集群，需要约**10万张GPU常驻。**

  

但问题是，这10万张GPU在凌晨3点的利用率可能只有10%，在晚上8点的利用率可能超过200%（需要排队），这种流量的不均匀性，让固定集群的效率极低。

  

这意味着推理不再适合固定资源模式，而需要面向**需求波动的弹性资源体系**。

  

根据Morgan Stanley的报告，2025-2028年全球数据中心基础设施投资将达到**3万亿美元**，其中很大一部分将用于构建支持弹性推理的基础设施。

  

这就是第一个趋势：从百万卡的训练集群，到千万卡的推理资源池，AI基础设施正在经历一次新的**范式转移**。

**03**

****趋势二：从通用GPU到异构算力，成本优化的军备竞赛****

**01**

**推理成本正在成为AI公司的生死线**

  

当推理需求爆发时，成本问题就成了生死线。

  

我们做过一个计算：如果用H100跑推理，一次视频生成的成本大约是0.5美元，听起来不多，但当你每天要处理100万次请求时，成本就是50万美元/天，一年就是**1.8亿美元**。

  

更要命的是，大部分推理任务根本不需要H100的算力，H100是为训练设计的，它的多卡互联、高带宽、大显存，在很多推理场景下实际上被浪费了。

  

这就给了**异构算力机会**。

**02**

**谷歌的TPU野心：从0到700万片的跨越**

  

谷歌的TPU战略，本质上是一场**成本优化的豪赌。**

  

根据Morgan Stanley的最新预测，谷歌的TPU产量将在2028年达到700万片（注：原报告的1200万片是累计出货量，年产量约为700万片），这是一个什么概念？

  

对比一下：英伟达在2024年的H100出货量约为150-200万片，如果谷歌能做到700万片，规模将是英伟达的3-4倍。

![不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 · 原文图片 4](https://inews.gtimg.com/om_bt/OhS1FajaJf5qBWxF2lxuguxuNkO7vAPQcyBTgcbufxYO0AA/1000)

 图4：主要AI玩家的GPU/TPU部署规模对比

但这里有一个关键问题：谷歌的TPU主要是自用，而英伟达的GPU是卖给全市场。

  

谷歌为什么要自建这么大规模的TPU？答案很简单：**成本**。

  

根据行业估算，TPU在特定推理场景下的性价比是GPU的2-3倍，如果谷歌每天处理10亿次推理请求（包括搜索、YouTube推荐、Gemini对话等），用GPU的成本可能是每年50亿美元，用TPU可能只需要20亿美元，这意味着每年能**省30亿美元。**

  

这就是谷歌押注TPU的逻辑：**通过垂直整合赢得成本优势，打造结构性壁垒。**

**03**

**云厂商的异构算力军备竞赛**

  

谷歌不是唯一押注异构算力的玩家。

  

AWS推出了Inferentia和Trainium芯片，专门用于推理和训练，根据AWS的说法，Inferentia的性价比是GPU的40%（即**成本降低60%**）。

  

微软Azure则与AMD合作推出基于Instinct GPU的实例，同时也在打造自己的AI芯片。

![不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 · 原文图片 5](https://inews.gtimg.com/om_bt/OODmNRlce2IbbMBKUV5CtutQnbUpc5iGjwkmXpzsbM8LMAA/1000)

 图5：不同芯片的推理成本对比（以视频生成为例）

  

它们背后的逻辑一致：**在推理市场，专用芯片比通用GPU更具成本优势。**

  

但这里有一个矛盾：专用芯片的生态远不如CUDA成熟，开发者需要重写代码、重新优化、重新测试，这个迁移成本，可能抵消掉硬件的成本优势。

  

所以，真正的趋势不是"**GPU vs ASIC**"，而是异构算力的混合调度。

**04**

**异构算力混合调度：未来的标准架构**

  
未来的AI推理平台，不会只用一种芯片，而是根据任务特征，动态选择最优的算力资源。

具体来说：

![不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 · 原文图片 6](https://inews.gtimg.com/om_bt/OiSc_p8NLzPVEsDsdCHXZ3EN4beKFDpnIDqBMtZO4kxm0AA/1000)

图6：AI推理硬件全景图

**04**

**趋势三：从常驻集群到Serverless，这是效率革命的终局**

**01**

**云厂商卡在「资源昂贵但闲置」的悖论里**

  
云厂商面临一个巨大的困境：GPU的利用率太低。

根据行业数据，传统固定集群的GPU利用率平均只有30-50%，换言之，超过一半的算力在被浪费。

为什么利用率这么低？因为流量波动大，而固定集群无法弹性伸缩。

举个例子，一个电商平台的AI推理需求，在双十一期间可能是平时的50倍，如果用固定集群，要么平时浪费资源，要么大促时扛不住。

更要命的是，不同客户的流量高峰完全不同，电商客户的高峰是晚上8-10点，内容创作者的高峰是下午2-6点，企业客户的高峰是工作日。如果为每个客户都准备固定资源，利用率会更低。

这就是云厂商的困境：**GPU资源稀缺且昂贵，但利用率极低。**

**02**

**Serverless：从资源竞争到效率竞争**

  

Serverless推理的核心思想是：**用多少付多少，不用不付费。**

  

这不是一个新概念，AWS Lambda在2014年就推出了Serverless计算。但在AI推理领域，Serverless直到最近才开始成为主流。

  

为什么？**因为GPU的冷启动问题。**

  

CPU的Serverless可以在几百毫秒内启动，但GPU的冷启动通常需要30-60秒，这对于实时推理来说太慢了。

  

但现在，这个问题正在被解决。

  

通过预热池、智能预测、分层启动等技术，GPU的冷启动时间可以降到5秒以内，这让Serverless推理成为可能。

![不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 · 原文图片 7](https://inews.gtimg.com/om_bt/OnIkEmx_2q53ea-t9CmM8ZtI_157wnApyMZdTHVr3qf1IAA/1000)

 图7：GPU冷启动时间优化对比，从45秒降到5秒以内

![不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 · 原文图片 8](https://inews.gtimg.com/om_bt/OWnWe0T1UnvX81rcld7fMnM3VkEq3pb2DVOw1x9Z0mnNcAA/1000)

图8：固定集群vs Serverless的流量模式和GPU利用率对比

**03**

**Serverless推理的市场规模**

  
根据我们的观察，Serverless推理正在快速渗透市场。

RunPod、Modal这些Serverless推理平台，在过去一年的增长速度都超过了300%，他们的共同特点是：**开发者不需要管理GPU集群，只需要提交任务，系统自动分配资源、执行任务、释放资源。**

![不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 · 原文图片 9](https://inews.gtimg.com/om_bt/OpVM7MeDaZFrN4U9NJzohda7yqei_ZTes7pn2mpwRSZTkAA/1000)

 图9：主要Serverless推理平台增长趋势（2023-2024），年增长率超过300%

这种模式的优势是：

  

1、成本优化：不用时不付费，利用率可以达到80%以上（相比固定集群的30-50%）

  

2、弹性扩展：自动根据流量调整资源，应对突发需求

  

3、开发者友好：屏蔽底层复杂性，专注业务逻辑

![不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 · 原文图片 10](https://inews.gtimg.com/om_bt/OQlgeZF3WGSLVY2Jf0xq45EYx52GXwTPBkiqVYavjJlDoAA/1000)

 图10：固定集群vs Serverless在不同流量场景下的成本对比，Serverless可节省25-85%

但Serverless推理的技术挑战也很大：

  

•冷启动问题：如何快速启动GPU实例？

  

•资源调度：如何高效分配异构算力？

  

•任务编排：如何处理高并发、长尾任务？

  

这些挑战，正在被一批开源和商业项目攻克。

**04**

**从封闭平台到开放生态**

  

**Serverless推理的未来，不是某一个平台的胜利，而是开放生态的胜利。**

  

RunPod、Modal这些商业平台做得不错，但它们是**封闭的，开发者无法定制、无法自建、无法掌控数据。**

  

而开源的Serverless推理系统，正在快速崛起。

![不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 · 原文图片 11](https://inews.gtimg.com/om_bt/O60GsdKjyOpk4qV6iLk6zOR31N4LQhiiOTA13baUnjArgAA/1000)

图11：开源vs商业Serverless平台特性对比，各有优势

这些开源系统的共同特点是：

  

•支持异构算力：可以混合使用GPU、TPU、ASIC

  

•Kubernetes原生：易于部署和管理

  

•自动扩缩容：根据队列深度动态调整资源

  

这就是第三个趋势：从**常驻集群到Serverless，从封闭平台到开放生态**，AI推理正在经历一次效率革命。

**05**

**结语：Serverless推理，是AI基础设施的终局**

回到文章开头的问题：谷歌的TPU能否挑战英伟达的霸主地位？

  

我的答案是：这不是一场**零和博弈。**

  

英伟达的CUDA生态是开放平台，谷歌的TPU是垂直整合，两者都有存在的价值。但真正的赢家，不是某一种芯片，而是那些能够**灵活调度异构算力、提供Serverless体验、降低开发者门槛的平台。**

  

**AI推理的未来，不是某一种芯片的胜利，而是Serverless架构的胜利，是开放生态的胜利。**

  

**从百万卡到千万卡，从通用GPU到异构算力，从常驻集群到Serverless**，这三大趋势正在重塑AI基础设施的格局。

![不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 · 原文图片 12](https://inews.gtimg.com/om_bt/O03dSA8qVn-kQ8DIRX0_rbiBEG1cOhFvD35h3SRkmjeeYAA/1000)

图12：AI基础设施演进路线图，从训练时代到Serverless时代

而在这个过程中，谁能提供最高效、最灵活、最开放的Serverless推理平台，谁就能赢得这场AI基础设施的终极战争。

**算力应该像水电煤一样：**

**从资源竞争到效用革命**

未来，算力应该像水、电、煤一样——不是比谁拥有更多，而是如何更好地用起来。

  

回顾历史，电力的普及不是因为某家公司拥有最多的发电厂，而是因为电网的建立让电力可以随时随地使用。今天，没有人会为了用电而自建发电厂，因为插上插座就能获得稳定的电力供应。

  

算力也应该如此。

  

今天的AI公司，还在为GPU资源焦虑：要不要自建集群？买多少张卡？如何应对流量波动？这就像100年前的工厂，还在纠结要不要自建发电厂一样。

  

但Serverless推理正在改变这一切。它让算力变成了一种按需使用的公共服务：

  

• **无需拥有**：开发者不再买 GPU，只需调用 API 

  

• **按需付费**：使用多少就付多少 

  

• **随时可用**：像开水龙头一样轻触即可获得算力

  

• **无限弹性**：从 1 张卡到 1 万张卡自动扩缩

  

这**不是技术的进步，而是商业模式的革命。**

  

谷歌的TPU、英伟达的GPU，都是在争夺"发电厂"的规模。但真正的未来，是谁能建立算力的"电网"——让算力像水电煤一样，成为一种随时可用、按需付费、高效分配的公共基础设施。

  

这就是Serverless推理的终极意义：**让算力从稀缺资源变成公共服务，从资源竞争变成效用革命。**

  

而在这个过程中，**开放生态将是关键。**就像电网需要统一的标准和协议，算力的"电网"也需要开放的接口、兼容的SDK、社区驱动的创新。这就是我们开源Waverless的原因——**不是为了垄断，而是为了让更多人能够参与到算力基础设施的建设中来。**

**06**

**WaveSpeedAI的实践：开源Waverless，构建开放的Serverless推理生态**

在WaveSpeedAI，我们每天处理超过百万次推理请求，深刻体会到了Serverless推理的价值。

  

但我们也发现，市场上缺乏一个开源的、高性能的、易于使用的Serverless GPU任务编排系统。

  

所以，我们决定开源我们的核心技术：Waverless。

  

Waverless是一个高性能的Serverless GPU任务编排系统，专为AI推理和训练工作负载设计，它的核心特性包括：

  

•Pull-based架构：Worker主动拉取任务，更好的负载均衡和容错能力

  

•Kubernetes原生：内置K8s应用管理，支持通过API部署GPU工作负载

  

•多Endpoint路由：支持多个独立的任务队列和Worker池

  

•自动扩缩容：根据队列深度动态调整Worker数量

![不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 · 原文图片 13](https://inews.gtimg.com/om_bt/OpJF4TFx07JRSbT2cuURRNKCVIy8bztxKRJFFLS2gzd4UAA/1000)

图13：Waverless架构示意图，Pull-based Serverless GPU编排系统

我们在生产环境中使用Waverless支撑每日百万次推理请求，系统可靠性超过99.95%，平均响应时间20秒，成本降低80%。

  

我们希望Waverless能成为AI推理领域的"Kubernetes"——一个开放的、社区驱动的、**被广泛采用的标准。**

  

**AI的未来，不应该被少数巨头垄断，它应该属于每一个开发者，每一个创业者，每一个有想法的人。**

  

这就是我们开源Waverless的初心。

**关于WaveSpeedAI**

  
WaveSpeedAI是一家专注于AI多模态加速的技术公司，核心定位服务中小B（开发者+中小客户）。我们通过提供模型推理加速能力和API服务，帮助开发者和企业快速构建AI多模态应用。  
  

**1、联系我们**

  

•**官网**：wavespeed.ai

  

•**GitHub**：github.com/WaveSpeedAI

  

•**开源项目**：Waverless

  

**2、加入我们**

如果你对Serverless推理感兴趣，欢迎：

  

•**Star我们的GitHub项目**：

  

https://github.com/WaveSpeedAI/waverless

  

•**试用Waverless**：按照README的Quick Start，5分钟部署你的第一个Serverless GPU集群

  

•**贡献代码**：我们欢迎任何形式的贡献

  

•**加入社区**：在GitHub Issues中讨论你的想法和需求

  

让我们一起，构建AI推理的Serverless未来。

---

原始发布版本：https://view.inews.qq.com/a/20251208A05S5K00

本站阅读页：https://ffcap.cn/research/20251208a05s5k00