---
title: "AI早就会说话了，但它听不懂你在叹气"
id: "20261019A099KA00"
publicationAccount: "非凡产研"
originalPublishedAt: "2026-10-19T16:00:49+08:00"
canonical: "https://ffcap.cn/research/20261019a099ka00"
source: "https://view.inews.qq.com/a/20261019A099KA00"
sourceAccount: "https://news.qq.com/omn/author/21759984"
language: "zh-CN"
tags: ["阿里巴巴","模型与基础设施","销售与客服","融资与投资","智能硬件","开源与本地部署","OpenAI","DeepSeek"]
---

# AI早就会说话了，但它听不懂你在叹气

文章中的“非凡产研”是原始发布账号署名，不代表已核实个人执笔作者。引用访谈或圆桌观点时，应按正文标明具体发言人及当时身份；无法确认时不要推断。日期为原始发表日期，历史信息以发布时点为准。

**语音AI赛道 · 深度访谈**

## **AI 早就会说话了，但它听不懂你在叹气**

  

“现在的语音大模型，大多是‘失聪’的。”

  

OpenAI 的实时语音旗舰 GPT-realtime-2.1，在一场专门考“听语气”的测试里，情绪题得分 31.5。满分 100。

同一个考场上，一家你可能没听过的公司，用自家开源模型考了 91 分。

这个测试叫 LISTEN，EACL 2026 的公开基准，2102 道题，专门检验音频模型到底是在听声音，还是只在读字。

谷歌、OpenAI、阿里的六个模型一起考下来，实时语音旗舰们集体垫底，甚至不如自家离线版。

出题人的结论很直白：现在的语音大模型，大多是“失聪”的。

这家公司叫降临派（Adventists AI），上海爱降临科技旗下的项目，一共 20 个人，墨尔本实验室 4 个人做模型，国内 16 个人做工程和销售。

据南方+报道，他们此前拿了近千万元天使轮，投资方是思迈产融和山海创想。

前阵子我跟他们做了一次长访谈，聊完最大的感受是：语音 AI 这个行业，大家盯着的方向可能一直是错的。

  

## **先补一课：语音 AI 的三代做法**

语音模型这个圈子，和大语言模型完全是两个世界，先花一分钟对齐一下背景。

你熟悉的 GPT、DeepSeek 们读的是文字。

要让 AI 开口说话，行业里先后有过三代做法。

第一代是拼装：一个模型把语音转成文字（ASR），大语言模型想答案，再一个模型把文字念出来（TTS）。

三个模型接力传话，每传一棒，语气、停顿、情绪就丢一层。

你今天买到的绝大多数语音硬件，跑的都是这条流水线。

第二代是端到端：一个模型直接吃进音频、吐出音频，中间不过文字这道手。

OpenAI 的 GPT-realtime、谷歌的 Gemini Live 走这条路，开源里的代表是阿里的 Qwen-Omni。

第三代再加一层“全双工”：边听边说，你随时可以打断，它也能分辨你是说完了，还是只是喘口气。

法国 Kyutai 实验室的 Moshi 是这条路线的开源起点，今年 NVIDIA、智源都发了自家的全双工模型。

麻烦在于，这个领域一直缺公认的考卷。

文本模型有刷不完的榜单，语音模型的评测长期各家自说自话，LISTEN 是今年才出现的公开基准。

它考的都是平时没人量化的东西：话说完没有、是打断还是附和、笑声叹气咳嗽、耳语还是喊叫、口音和方言。

开头那张成绩单，考的就是这些。

  

## **文字全对，话全听错**

先说一个行业里心照不宣的事实。

你今天跟任何 AI 语音助手说话，它“听懂”你的方式，基本是先把音频转成文字，再拿文字去问大模型。

这条链路有个致命问题，对方的原话是：

**“原本的方案是把音频转成文字，再对文字做判断。所以会丢掉所有的副语言信息。也就是你是怎么说这句话的，你的音调，你的停顿，你的重音和情绪。”**

“你真行。”这三个字写在纸上没有任何歧义，说出口却可以是夸奖，也可以是嘲讽。

转写稿里，这两种意思一模一样。

LISTEN 里专门有一栏考这个，叫“字面中性，只靠声音”：文字本身干干净净不带情绪，得分全靠听。

DuplexJev 拿了 45 分，六家闭源模型最高的 33.5，GPT-realtime-2.1 只有 15.5。

官网脚注里还有一句很损的实话：GPT 的两个模型和 Gemini 3.8 Live，对大多数情绪题的回答就俩字，中性。听不出来就一律按没情绪处理，这是最安全的错法。

降临派是怎么发现不对劲的？他们说，GPT 的实时语音模型能很准地捕捉你说话的重音，还能模仿你，但目前所有开源项目都做不到同样的判断。

于是他们做了一套系统性的副语言测试，结果发现开源模型基本停留在完全拿不到副语言信息的阶段，闭源模型领先一些，但“其实也并不多”。

这个发现后来变成了他们的论文，挂在 arXiv 上，投给了 ICASSP 2027。

论文里最扎眼的一组数字：只用转写蒸馏训练时，模型判断说话人性别的准确率大约 55%，情绪只有 28%，基本是瞎猜。

换成直接在音频上监督答案的训练方式，两项都到了 90% 左右。

问题不在模型笨，在训练方法。

老师（文本大模型）自己就没听过声音，学生怎么可能学得会。

  

## **92 毫秒的裁判**

发现问题是第一步，降临派真正拿出去卖的东西，思路有点反常识。

全双工对话，就是 AI 可以边听边说，你能随时打断它，像真人聊天。

行业里现成的做法是开一个全双工语音模型常驻推理，处理所有信号。问题是成本，对方是这么算账的：

**“我们需要给每个用户维护一条始终在运行的模型保持推理。即便只是沉默，也在持续的烧钱。”**

他们的解法是拆开。

对话里的判断其实都是封闭问题：用户说完了没有？这句话是对 AI 说的吗？设备该不该进待命？

这些问题不需要一个全尺寸大模型逐字生成答案。

于是他们做了 DuplexJev，一个“决策引擎”。

它不解码、不转写，把音频编码器的隐状态接进一个冻结的大模型，一次前向，把每个问题读成选项字母上的单 token 分布。

官方数据：10 个判断，92 毫秒。

对照组是先转写文字、再让大模型生成判断，同样 10 个问题要 1978 毫秒，访谈里说的“快 21 倍”就是这么来的。

真正干活的全双工模型叫 Sophon-realtime，负责低延迟对话、副语言理解和表达、调用后台模型。

外面再套一层叫 Harness 的总体架构，把决策引擎、实时模型、后台模型、角色记忆、云端技能执行全装进去。

这套组合拳的思路很工程化：贵的模型少干活，便宜的模块多判断。

整套方案相比全双工模型常驻，按对方的说法，“可以让成本降低两个数量级”。

这套东西不是 PPT。

DuplexJev 已经全面开源，有 pip 一键安装包，LiveKit、Pipecat 这两个主流实时对话框架都把它集成成了轮次判断插件。

在 LiveKit 自家的 eot-bench 上，14 种语言、300 毫秒预算内，它的误打断次数全部少于 Smart Turn v3.2。

Sophon 系列 10 月底开源，他们说这会是“目前唯一可投入商用的全双工开源模型和框架”。

这话先记下，后面再聊。

![AI早就会说话了，但它听不懂你在叹气 · 原文图片 1](https://inews.gtimg.com/om_bt/OOEPRocilf9nGUykq-R529MlRPSY5jnTNjM-SEVT-1yaUAA/1000)

  

## **听懂，比会说更值钱**

听懂人的语气，和让 AI 用合适的语气说话，哪个更难？降临派的答案是前者：

**“相对来说，理解是更重要的，因为可以用副语言理解能力来强化学习训练副语言表达，从而带来后者的快速增长。”**

逻辑是这样的：你得先有一只能听出情绪的耳朵，才能给“说话”这件事当裁判，告诉表达模型这句说得对不对。

理解能力是表达能力的基础设施。

这个能力落到场景里，有时直接改变决策本身。

对方举了个例子：电话客服场景，用户提转账要求时声音里带着恐惧，AI 客服可以判断用户可能正被人胁迫，直接切断整个转账流程。

这种场景你在任何产品发布会上都看不到，因为它不炫。

但做金融客服的公司会为它付钱。

至于方法论，他们说得很坦白：

“先让模型理解和表达副语言，这是一种信息特权。具体用在哪里可以不着急，合适的场景会自己冒出来。”

这话你可以理解为战略耐心，也可以理解为还没找到杀手级场景。两种理解可能都对。

瓶颈卡在数据上。

他们说，最难补齐的是带副语言标签的数据集，文字转写满大街都是，标注了语气、重音、情绪的音频数据几乎没有，目前靠和浙大、数据服务商 magicdata 合作来补。

模型以 Qwen、Gemma 为底座做后训练，真正稀缺的资产是这层标注。

换句话说，谁先把这种数据攒出来，谁就先拿到这条赛道的门票。

  

## **300 款硬件，10 万台终端，30 万美金**

接下来是生意的部分，这也是我觉得这场访谈最难得的地方：数字给得很全，包括不好看的。

降临派的客户是各类 AI 对话硬件厂商，卖 SDK 和 API 服务。

目前超过 300 款硬件、10 万+终端在用他们的服务，包括 dipal、dimi、小铁这类陪伴硬件。同时在线大概 3000+。

听着不错，往下看。

300 多款硬件里，已经量产的只有 20% 左右。

收入上，按澳洲财年算（7 月结账），2025 财年是 30 万美金，2026 财年预计 100 万美金。最大的一家客户占了收入的 25%。

也就是说，这是一家还在天使轮阶段的公司该有的一切特征：技术声量不小，商业盘子很小，客户集中度高。

客户结构也有意思。硬件客户 70% 在国内，30% 在海外，但终端用户反过来，70% 在海外。

海外终端用户更愿意付钱。品牌类客户付费爽快、服务好做，深圳的小硬件厂商“相对来说比较难赚钱”。

前 10 个付费客户怎么谈下来的？

“目前还是客户主动找过来的比较多。我们几乎不在推广上投入费用和人力。”

零推广获客是开源的红利，也是小团队的无奈，20 个人，雇不起一支销售军团。

商业模式上有个细节值得说。

以 dipal 为例，用户买硬件后按月订阅，订阅里包含 5 小时的聊天配额，到点刷新。

这个设计回答了语音硬件最头疼的算术题：设备卖出去之后，用户越聊越多，推理成本谁扛。

答案是用户自己扛，按订阅扛。

交付也很轻。一个硬件客户从试用到上线大概一个月，“基本不需要专门投入人”，通用接口加文档示例。

对方的说法是，“希望能够尽量不做人对人的服务，而是自动化对接”。

这是被逼出来的聪明，20 个人的团队，没资格做项目制生意。

续费方面，对方说客户流失率很低，接入以后几乎都会持续使用，增长规模主要取决于客户的量产和铺货速度。

这话信不信，可以打个折，但逻辑上成立：SDK 嵌进硬件固件里，换掉它的成本比继续付钱高得多。

语音服务的粘性，是焊在电路板上的。

  

## **开源是武器，也是赌桌**

为什么开源？

“很多车机厂商、硬件厂商现在对全双工的技术方案有顾虑，而大厂对技术垄断，不愿开放。我希望我们的开源，能带来一个新的蓬勃发展的生态。”

至于大厂入场碾压怎么办，对方就回了六个字：

**“开源其实没有价格竞争。”**

逻辑链是通的：开源模型把门槛打到地板上，车机和硬件厂商敢进场了，生态起来了，其中总会有一批客户没有微调能力，回头找他们做部署和服务。

这是 Red Hat 的老剧本，套在语音 AI 上。

但赌桌的另一面也得摆出来。

今年 8 月，NVIDIA 开源了端到端全双工语音模型 NemotronLabs VoiceChat 11B，支持边说边听和实时工具调用。

虽然是研究许可、要 80GB 显存，门槛不低，但方向已经摆明了。

再往前，智源的 RoboBrain-Audio、Soul 的全双工模型都在往这个方向走。GitHub 上全双工相关的开源仓库已经有 80 多个。

降临派那句“唯一可投入商用”，是对方的口径，这个窗口有多宽、能开多久，他们自己其实也控制不了。

跑分也有必须交代的地方。DuplexJev 并不是全项第一：重音压力测试上，Gemini 3.8 Flash 仍是第一（89.0），不过对方反馈，DuplexJev 升级最新版后已从此前公开的 71.5 提升到 85 分，差距在收窄；字面本身带情绪时，通用模型反而更好。

官网自己的脚注还写了，情绪与重音的测试集和训练语料同源（说话人和句子不重叠）。

也就是说，91 分和 31.5 分之间的差距，有一部分是“考过类似题型”的红利。

换个完全陌生的语料库，差距会缩多少，目前没人知道。

说这些不是要指控谁。只是看跑分的时候，永远先看脚注。

目前开源的全双工模型都有严重的智力缺陷，只能当技术参考，没有实用价值，包括 Moshi 和英伟达最近的一系列，都处于没法正常对话的状态；他们认为自己会是第一家追上闭源水平的开源全双工模型，下周会发布跑分，目标是第一梯队。

这是当事人立场，先记下，跑分出来再验。

但有一点可以交叉印证：NVIDIA 那份开源许可确实写着仅限研究用途，离“商用”两个字还有距离。

  

## **下半场，考的是听力**

聊到未来一年怎么才算往前走了一步，对方的回答没有提收入，绕回了那句“开启一个新的时代”。

这种话从大公司嘴里说出来，我会觉得是公关稿。

从一家年收入 30 万美金、墨尔本 4 个人、国内 16 个人的公司嘴里说出来，我更愿意把它理解为一种下注：赌大厂看不上、来不及、或者舍不得开放的这段时间，够他们把生态的种子撒出去。

语音 AI 的上半场，大家教会了机器说话。

下半场的门票，可能是教会机器听出你声音里的恐惧，然后在转账前停下来。

这门课，GPT-realtime-2.1 目前考了 31.5 分。

  

## **更多对话细节**

### **第一关：把全双工的门槛打到最低**

**Q1：**你们最近最集中在解决什么问题？如果做成了，一个普通用户会感受到什么变化？

**答：**我们最近在准备开源 全双工对话的系列模型。 完成以后，我们会把全双工对话的门槛打到非常低，各行各业都能快速部署，进化到下一个交互等级。

### **第二关：转成文字之后，语气就没了**

**Q2：**能不能举一个具体例子：用户的话转成文字没错，但 AI 因为没听懂语气、停顿或插话，还是接错了话？为什么原来的方案一直处理不好？

**答：**原本的方案是把音频转成文字，再对文字做判断。所以会丢掉所有的副语言信息。也就是你是怎么说这句话的，你的音调，你的停顿，你的重音和情绪。

**Q3：**你们提到，只照着文字转写来训练，模型可能学不会听语气。最初是怎么发现不对劲的？中间走过哪些弯路，哪一次实验让你们找到了原因？

**答：**我们发现gpt-live能够非常准确的捕捉你说话的重音，并且可以模仿你。但是目前所有的开源项目，其实都无法作出同样的判断，更不要说去模仿表达。于是我们做了系统性的副语言测试，发现开源模型基本还停留在完全无法获得副语言信息的阶段。而闭源模型其实领先一些，但其实也并不多。

### **第三关：DuplexJev、Sophon 和 Harness 怎么分工**

**Q4：**沿着“用户说话，到 AI 开口回应”的过程，DuplexJev、Sophon 和 harness 分别负责什么？哪些已经能用，哪些还在研发？

**答：**duplexjev在全双工对话中起到中枢作用。在过去的全双工对话中，我们需要使用类似sophon-realtime的全双工语音模型来处理所有的信号出入，这样做的成本非常恐怖。我们需要给每个用户维护一条始终在运行的模型保持推理。即便只是沉默，也在持续的烧钱。

而使用了duplexjev，可以对所有运行中的对话，进行低成本的统一判断。从而决定设备是否进入待命，用户是否在对AI说话，用户是否说完了等判断，从而大幅减少全双工模型的部署成本，并减少延迟。

sophon-realtime是实际对话中的全双工模型，来负责低延迟对话、副语言理解表达、调用后台模型完成工作。

Harness是包含了duplexjev、sophon-realtime、后台处理模型，角色记忆宫殿，云端skill执行等 部件的总体架构。

**Q5：**你们用了哪些现成模型，哪些部分必须自己做，最难补齐的数据从哪里来？最近一次重要改进，大概用了多少人、多久、多少算力费用？

**答：**我们现在以qwen\\gemma作为backbone推出了多个开源模型。最难补齐的数据是带副语言标签的数据集。我们目前跟浙大、magicdata在这方面进行合作。

**Q6：**为什么把语音判断、回复和表达等工作拆给不同模型？有没有试过让一个模型一起做，实际效果、成本和开发难度有什么不同？

**答：**我们的sophon-Realtime 事实上可以一个模型完成大部分工作，但是仍然需要跟后台模型合作完成复杂工作的持续执行。但这种方式的成本会很高，使用duplexjev可以让成本降低两个数量级，所以我们推荐这种方式。

**Q7：**你们公布过“10 个判断 92 毫秒，比先转写再问大模型快 21 倍”。这测的是哪一段处理时间？在真实设备上，从用户说完到 AI 开口，实际改善了多少，用户最能感受到的是哪一点？

**答：**即便是单个判断，你也能看到直接对语音进行判断所能带来的巨大速度提升。直接对语音本身进行判断，而不是先进行转写，可以节省asr中的自回归延迟，可以节省出额外的300ms左右。

而这个框架最有趣的，是他还可以进行批量推理，对单个语音片段做多个判断，也可以对多个语音片段，在一次前向中完成判断。

### **第四关：理解比表达更重要**

**Q8：**“听懂人的语气”和“让 AI 用合适的语气说话”，哪个更难？拿一句具体的话举例，表达端目前能做到什么，还有什么地方听起来不自然？

**答：**副语言理解 和 副语言表达，是目前行业内 都是非常缺少的能力。相对来说，理解是更重要的，因为可以用副语言理解能力来强化学习训练副语言表达，从而带来后者的快速增长。我们也正是这么做的。

可以做到模仿你的重音、情绪，可以根据你的状态判断你隐藏在文字后的真实意图，可以根据情景切换不同的说话方式。有些时候副语言信息甚至可能改变决策本身，比如用户在电话客服场景，转账要求中表现出恐惧的状态，ai客服可以判断用户遇到威胁，切断整个转帐流程。

**Q9：**有没有一个已经上线或正在试点的项目，能讲讲从演示效果到真实使用，中间遇到了哪些没想到的问题？改完之后，用户体验或客户在意的指标有什么变化？

**答：**duplexjev已经全面开源，我们有一键体验的pip包，也可以在Hf space或者我们的在线体验页面直接尝试api。

livekit、pipecat等常见实时对话框架也集成了duplexjev作为轮次判断插件和分类插件。

**Q10：**有没有哪项能力，评测成绩不错，到了真实用户那里却没那么好用？遇到噪音、方言、多人说话或用户临时改口，现在最容易出什么问题，系统会怎么补救？

**答：**我们的理念是，先让模型理解和表达副语言，这是一种信息特权。具体用在哪里可以不着急，合适的场景会自己冒出来。

### **第五关：谁在买，钱怎么算**

**Q11：**今天主要是谁在买你们的服务，买到的具体是什么？拿一个付费客户举例，他原来用什么方案，最后为什么选你们，而没有自己接大模型来做？

**答：**现在主要是各类ai对话硬件，买到我们的sdk或api服务。比如dipal、dimi、小铁等等，目前有超过300款硬件、10万+终端在使用降临派的服务。

**Q12：**从实际订单和持续使用来看，哪类场景的客户最愿意付钱，也最容易服务好？有没有哪类项目，你原来觉得很有前景，做下来却发现很难赚钱？请各举一个例子。

**答：**我们主要是b端客户。品牌类客户更愿意付钱，服务好。深圳的很多小硬件厂商相对来说比较难赚钱。

**Q13：**一个硬件客户从试用到正式上线，通常要多久，需要你们投入几个人？设备端和云端分别要改什么，哪些工作能复用，哪些还得逐家定制？

**答：**通常需要1个月左右，我们基本不需要专门投入人，都是通用的接口和能力。提供了充分的接口文档和示例代码。我们希望能够尽量不做人对人的服务，而是自动化对接。

**Q14：**为什么决定开源，有没有客户因此找到你们、最后真正付了钱？开发者可以免费用到哪一步，做商业产品需要购买什么授权或服务？

**答：**我们希望推动整个行业向全双工对话快速进化，很多车机厂商、硬件厂商现在对全双工的技术方案有顾虑，而大厂对技术垄断，不愿开放。我希望我们的开源，能带来一个新的蓬勃发展的生态。 而这些客户中，可能也不全是能做进一步微调和部署的，希望在这种情况下他们能找到我们合作。

**Q15：**目前有多少家企业客户在付费？你们提到覆盖 300 多款硬件，其中多少已经量产，最近一个月实际使用服务的设备大概有多少台？

**答：**已经量产的大概在20%左右。目前有10万加的终端，同时在线大概在3000+

**Q16：**2025 年全年，以及 2026 年截至最近完整月份，公司收入分别在什么级别？设备授权、API、部署和项目收入大概各占多少？可以只给区间，请注明币种；如有 ARR，也可补充。

**答：**澳洲财年7月份，25财年是30万美金。26财年预计在100万美金。

**Q17：**目前最大的一家客户，一年大概付多少钱，占公司收入多少？不用透露名字，能否讲讲他为什么会用到这么大的量？

**答：**有签保密协议，他们有独立融资需求，所以不能公布。大概占比25%。

**Q18：**拿一个典型客户算账：他一年实际付多少钱，你们持续服务他的主要成本有哪些？硬件卖出去之后，如果用户连续用几年、每天越聊越多，这笔服务费由谁承担，你们还能不能赚钱？

**答：**dipal的话，对用户会有持续的包月订阅，包月订阅里包括了5小时窗口的聊天配额，到点刷新。

**Q19：**前 10 个付费客户是怎么一个个谈下来的，具体是谁去哪里找、怎么说服对方？今天最管用的获客办法是什么，大概要花多少人力或推广费？

**答：**目前还是客户主动找过来的比较多。我们几乎不在推广上投入费用和人力。

**Q20：**已经到续费时间的客户，有多少会继续用？最近一次客户停用、减少用量或试完没买，原因是什么？如果还没有完整的续费周期，也可以谈老客户的付费用量变化。

**答：**我们的客户流失率很低，接入以后几乎都会持续使用。增长规模主要取决于客户的量产和铺货速度。

### **第六关：团队、开源和下一步**

**Q21：**现在团队有多少全职成员，研发、工程、销售和交付各有多少人，你自己主要负责什么？接下来最制约公司的，是人才、算力、资金，还是客户需求不够明确？

**答：**目前墨尔本实验室4个人做模型研发训练。国内16个人主要是做接口、后台、销售、运营。

目前主要的点还在模型的持续研发和技术领先程度。

**Q22：**国内和海外收入大概各占多少，主要来自哪些市场？比较两个相近的客户，哪边更容易成交、愿意付更多钱，哪边服务起来更费力？

**答：**目前硬件客户大概70%来自国内，30%来自海外。 但是终端客户应该是反过来的，30%来自国内，70%来自海外。海外的终端客户会更愿意付款。

**Q23：**如果半年后大厂也能做到类似效果，价格还更低，客户为什么继续选你们？从实际项目来看，行业里哪项能力被说得太热，又有什么不起眼的问题，客户反而愿意花钱解决？

**答：**我们现在是提供了领先的开源模型，很多客户可以基于此做二次开发。我们希望能够建立一个生态。

开源其实没有价格竞争

**Q24：**Sophon 系列和 harness 接下来准备交付什么，预计什么时候能用？未来一年，技术和生意上分别做到什么程度，你才会觉得公司往前走了一步？

**答：**sophon系列 在10月底开源，应该会成为目前唯一可投入商用的全双工开源模型和框架。希望能开启一个新的时代

---

原始发布版本：https://view.inews.qq.com/a/20261019A099KA00

本站阅读页：https://ffcap.cn/research/20261019a099ka00