--- title: "AI原生数据库和RAG解锁了AI Infra从B端向C端普及的可能性｜非凡观点" id: "20240326A06R0R00" publicationAccount: "非凡产研" originalPublishedAt: "2024-03-26T16:30:00+08:00" canonical: "https://ffcap.cn/research/20240326a06r0r00" source: "https://view.inews.qq.com/a/20240326A06R0R00" sourceAccount: "https://news.qq.com/omn/author/21759984" language: "zh-CN" tags: ["模型与基础设施","OpenAI","自动驾驶","内容创作"] --- # AI原生数据库和RAG解锁了AI Infra从B端向C端普及的可能性｜非凡观点 文章中的“非凡产研”是原始发布账号署名，不代表已核实个人执笔作者。引用访谈或圆桌观点时，应按正文标明具体发言人及当时身份；无法确认时不要推断。日期为原始发表日期，历史信息以发布时点为准。    **背景介绍** ![AI原生数据库和RAG解锁了AI Infra从B端向C端普及的可能性｜非凡观点 · 原文图片 1](https://inews.gtimg.com/om_bt/O466AsVMRHR-Sw4a5ERWGfyHkYJV9vYVUVHyP1M9ZPKbQAA/1000) 2024年1月24日，非凡资本联合诸多合作伙伴在上海举行了“2024 AIGC应用发展高峰论坛”，近千名AI相关从业者参与了本次活动。本期内容整理自嘉宾主题演讲环节。 ##    ******嘉宾****** 白海科技创始人兼CEO 卢亿雷 英飞流创始人张颖峰 未来速度CEO 秦续业 整数智能创始人兼CEO林群书 主持人：句子互动创始人李佳芮 ![AI原生数据库和RAG解锁了AI Infra从B端向C端普及的可能性｜非凡观点 · 原文图片 2](https://inews.gtimg.com/om_bt/O9JVrXCAp099aLtlqn9dELoAlMrPdF1PtuzSgRXQcVYR4AA/1000) ##    ******圆桌会议****** **Q：如何看待围绕大语言模型的技术栈在过去一年的发展，哪一项技术让大家印象最为深刻？** **整数智能创始人兼CEO 林群书：** 在Transformer技术出现之前，算法通常使用的数据量相对较少。即使需要处理一些数据，手工标注也足以应对。然而，随着大型模型的兴起，如文本模型和多模态模型，依靠手工标注的方式处理数据效率显著降低。因此，许多人开始探索自动化算法，以提高整个数据标注的效率。随着时间的推移，这些自动化算法也在不断优化，其中一种优化方式是利用先前标注的数据来迭代算法。 不仅如此，在其他AI应用场景中，如智能驾驶（包括自动驾驶和智能座舱），也需要大量高质量的数据。在过去，很少有企业愿意在自动化数据处理工程平台上投入研发成本，因为他们认为数据量并不大。然而，随着发展，数据量急剧增加，传统方法已经不再适用，因此很多企业开始转向自动化数据标注、清洗和审核等方式。 同时，我们也注意到了一些新的趋势，比如利用合成数据来解决训练数据量不足的问题。特别是在像自动驾驶这样的领域，日常生活中采集高质量数据存在困难，因此合成数据成为了一种解决方案。 **未来速度CEO 秦续业：** 在过去的一年里，大家对大模型的认知发生了巨大变化。虽然ChatGPT的效果无疑是最好的，但企业是否采纳它还受到多方面因素的影响。 首先，安全方面的要求至关重要。例如，我们的金融客户是不能使用某些API的。 其次，模型的实际效果非常关键，必须能够满足特定场景的需求，而不仅仅是是否绝对优越。只有当模型能够满足用户需求并达到预期效果时，才能真正落地应用。用户的反馈意见常常各不相同，对于效果也有不同的期待和理解，但这些都取决于实际应用场景和个人需求。 第三，成本也是考量因素之一。如果能用较小的模型解决问题，就不必升级到更大的模型。因此，模型的小型化和通过微调技术实现成本效益是非常重要的。毕竟，在实现相同效果的前提下，更低的成本和更小的模型具有更大的优势。在我们的平台上，所有模型都是一样的，可以通过一键切换来帮助客户解决这些问题。 **英飞流创始人 张颖峰：** 我印象最深刻的是开源对整个技术生态的推动作用非常巨大。从模型开发的初始阶段到部署推理、中间件，以及各类推理组件，开源都发挥了重要作用。通过开源，模型的普及和低成本化得以加速。 在2023年初，我们对大型模型的预期高于以往，但现在可能低于人们的期望。我认为这主要是因为开源正在推动整个大型模型技术栈向企业化方向发展。随着从ToC 向ToB的转变加速进行，整个行业对这一领域的认知也在不断提升。 考虑到我们公司主要从事infra相关工作，我个人对infra技术的发展格外关注。例如，最近上海交通大学开源了Power Infer，它能够使用普通GPU来推断大型模型。尽管目前还不能达到生产可用水平，但我认为这类技术是国内少数原创且具有实质性价值的。 **白海科技创始人兼CEO 卢亿雷：** 我记得是在22年10月份，我接触到了Stable Diffusion，使用扩散模型设计了一些Logo图案。但到了2023年二、三月份，我意识到大型模型颠覆了现有软件的架构逻辑。在没有大模型的时候，每个业务领域或场景都需要建立自己的模型、构建应用，形成了分布式AI。但随着大模型时代的到来，这种模式转变为集成式AI，即以大模型为基础底座。这导致我们落地AI应用中对算力和数据的要求提高了。对于基础大模型而言，门槛极高，只有那些大型公司或者获得大量融资的公司才能承担得起。但对于想要落地自己领域场景模型的企业或机构而言，更多的挑战，或者说工作重点应该放在数据的准备上。 从去年3、4月份开始，我们为客户提供私有化大型模型解决方案。最初，我们花费了约300万的算力成本来基于开源模型生成中文模型，但效果并不理想。然而，现在国内任何一个模型对中文的理解都非常好。除了模型能力和技术的进步外，这也说明了数据的重要性。我们曾坚持与客户沟通，做领域模型，数据要遵循宁缺毋滥的原则。我们宁愿选择质量优良的1万条数据集，而不是接受低质量的100万条数据集。 **Q：您认为白海科技有哪些独特性的优势？** **白海科技创始人兼CEO 卢亿雷：** 白海科技是一家AI训推云平台服务商，专注于提供AI开发生成工具和服务，支持大模型的微调与应用构建，以及传统AI开发落地的全生命周期。我们自主研发了AI IDE，并已经开源。AI IDE底层采用了性能和安全性较好的Rust语言。我们优化了资源调度和管理，确保各种GPU资源的调度效率最大化，这是我们技术能力的一个优势。 其次，我们在产品的易用性方面进行了大量优化。与本地竞争对手相比，在数据获取、分析和处理方面，我们提供了更全面的解决方案。开发者、业务分析师甚至业务同事都可以直接在我们的平台上构建自己的大模型。我们的服务不仅局限于通用领域，还可以在特定领域满足客户需求。我们通过机器自动评估和人工评估来确保微调后大模型的准确性、相关性、一致性等，并且与客户特定场景的指标紧密相关。同时，在推理反馈数据回流前，我们会进行严格审核，以确保回流给模型的数据是高质量的、不会污染模型。这一环节非常重要，大家知道去年有一段时间GPT4的回复质量下降，最终发现其出现偏移的原因可能是对反馈数据的清洗或审核环节不足，因此我们将这一环节纳入了我们的流程中。 虽然我们是一家技术型公司，但在2023年我们的签单额达到了好几千万。对于像我们这样的技术型公司来说，初期就能够签下如此规模的订单是相当不容易的。我们的核心优势在于我们团队在B端市场的积累和经验，让我们能够快速探索出标准化、规模化服务B端客户的路径。目前我们已经服务了数十家世界500强企业和龙头央国企等。 然而，有人可能会问，如何与BAT等大型公司以及其他专注于基础大模型研发的头部企业竞争？我们的答案是，我们的定位非常清晰，我们只做中间件，只解决大模型应用的最后一公里问题。我们与技术大型模型或BAT公司是合作关系，他们可能提供基础算力甚至一些基础模型，但最终服务客户需要一个优秀的平台和服务方式来解决真实的问题。这是我们的商业策略。 **Q：能否详细介绍下英飞流的AI原生数据库系统和RAG间的创新之处？如何改变了现有的数据库管理和数据方式？** **英飞流创始人 张颖峰：** 我之前提出了一个观点，即RAG（Retrieval-Augmented Generation）不能仅依赖向量数据库。我现在要补充的是，目前做RAG做得好的很多都是搜索引擎公司，例如国内的百川（原搜狗搜索引擎），海外的Vesper（一款优秀的开源搜索引擎）。 在我看来，要想把RAG做好，需要做到以下两点： 1. **Infra层面：**我们需要注重多路召回，至少要有两路。向量只能作为一路，另一路则需要加入搜索，因为搜索可以提供精确召回。在当前，甚至在不远的将来，我们还需要加入一路，即普通的结构化数据查询。这个数据库不能过于特化，首先它得是一个数据库。企业内部的各种数据、权限、表、不同的用户账号，都可以将其视为一个数据库。此外，我们还可以利用这个数据库进行更多的召回。我们提出的“Infinity AI原生数据库”的理念，就是希望在未来，每个企业都有一个大模型进行数字化，同时每个企业也只需要一个数据库来配合大模型，所有企业的数据都可以放入这个数据库中，为大模型提供服务。这种数字化应用场景，是我们的主打产品。 2. **数据本身：**我们在公司刚成立时，就已经意识到数据的质量对RAG的成功有决定性影响。因此，我们决定做好RAG的端到端实现，这也是我们选择将RAG解决方案开源的主要原因。这个解决方案包括数据准备、通过算法和流程优化数据组织和结构，以提升RAG的效果。这可以理解为大数据时代的数据清洗或ETL工作，但在AI时代，ETL的形式与过去有所不同。我们希望通过开源，让更多人使用我们的数据库。 根据我们在多个领域的实践经验，RAG适用的行业非常广泛，包括金融、IT、工业、医疗等。我们还没有尝试法律行业，但显然它也适用。RAG的重点在于对智能化需求更加迫切的公司，特别是内部数据偏向知识化的公司，如法律文本、公司合同、企业内部案例等，这些都是RAG的理想应用场景。 相对来说，资金相对紧张的行业，如工业，也有非常刚需，但他们对成本看得很重。对于客单价几十万乃至更多的金融行业来说，他们的客单价可能很低，例如只有几千或者上万元钱。但无论如何，每个行业都会有这方面的需求。 此外，我们认为AI原生数据库或RAG，首次解锁了Infra基础设施从B端向C端普及的可能。换句话说，未来每个人都可能拥有一个RAG。举个例子，如果能够建立一个成本非常低廉的个人知识库，我愿意把我们的对话录音上传其中，而且将非常乐意付费。为实现这一目标，首先必须降低成本，这不仅需要大模型本身不断进步，还需要数据库Infra能力的不断提升，以将云端成本降至最低。无论是大型企业、中小企业还是个人，他们的需求各不相同。然而，可以肯定的是，每个行业、每个领域对RAG都有强烈的需求，而且这种需求将持续很长时间。 **Q：未来速度推出的Xinference开源模型推理平台有哪些独特技术优势？目前商业化落地情况如何？** **未来速度CEO 秦续业：** Xinference提供了开源版和商业版两种版本。开源版本已在GitHub上公开，目前的增长势头良好，Star数量已达2000。我们的开源产品主要面向开发者，旨在解决他们在使用各种模型时可能遇到的问题，如模型间的差异性、尺寸不同、如何优化模型加载以保证吞吐量等。我们为开发者提供了便捷的界面，可以选择和加载主流模型，如百川、通义千问等。 在易用性方面，我们做得非常好，同时在应用性方面也有所拓展。除了方便用户选择和加载各种模型，我们还进行了许多优化，例如兼容OpenAI的接口，使得使用OpenAI编写的应用能够轻松切换到Xinference平台。用户可以在自己的硬件上部署模型，低成本开发应用。 Xinference提供了与OpenAI API兼容的RESTful API，并集成了LangChain、LlamaIndex和Dify.AI等第三方开发者工具，便于模型的集成与开发。我们还集成了多个LLM推理引擎（如Transformers、vLLM和GGML），适用于不同硬件环境，并支持分布式多机部署，能够在多个设备或机器间高效分配模型推理任务，满足多模型和高可用的部署需求。 最后，我们能帮助用户处理硬件问题，无论是国产GPU还是国际品牌的GPU，都可以使用我们的平台进行推理，甚至可以在Mac电脑上使用Mac的GPU进行模型推理。 商业化落地需要满足企业级需求，这与我们过去的经验密不可分。我们团队的大部分成员都曾在阿里工作，积累了丰富的经验，尤其在处理大规模问题方面。在企业级应用中，性能、高吞吐、可扩展性等企业级技术至关重要，甚至还包括可观测性，以便售后能够了解用户的使用情况，或者检测流量限制等问题。我们会在商业版中专门解决这些企业级关注的问题。该版本适用于各行业，尤其是那些对API依赖较少的行业，比如金融和政府企业。当然，我们也充分考虑了成本因素，比如客服行业，他们希望降低成本。我们在这些方面有着丰富的拓展经验，而这些客户正需要我们模型的能力。 另外，我们坚信生态的力量。英飞流或Dify等伙伴是我们的重要合作伙伴，我们期待与他们共同合作，共同构建解决方案。在国内市场，大家更需要的是一个综合解决方案，而不是孤立购买单个产品。我们期望通过整合各方不同的能力，构建一个真正的矩阵，从而实现真正的业务落地。 **Q：在数据处理方面，整数智能在提供一站式数据管理服务中心方面有哪些核心优势和创新点？** **整数智能创始人兼CEO 林群书：** 用两个词总结，自动化和复利。最早可以追溯到我创办整数智能，因为我一开始是做算法的，在一家量化投资公司做量化投资的AI算法的结合。当时我就需要用到大量的一些高质量的文本数据，做一些舆情的情感监控。当时就发现，高质量算法依赖大量的数据。当时国内的供应商要么不太懂人工智能行业，要么就是非常原始的通过手工的方式标注数据。然后我们就想，能不能通过一些自动化的方式把整个数据成本降下来。只有把数据成本降下来，很多之前被成本限制的AI场景，现在才可以去做。之前整个获取数据的成本是比较高的。 所以我们从一开始，对于自动化追求就非常高。在整个系统构建过程中，我们首先将许多算法标注的能力提升到数据标注平台上，让机器承担百分之八九十以上的工作。而人工主要聚焦于审核和复核的工作。第二个关键词就是做一些复利的能力。像刚才的自动化，如果算法不随着时间提升，那么数据标注的效果是没有本质区别的。 我们期望的是一个能随时间变得更智能的数据标注系统，可以大幅减少人工介入的需求。在整个系统构建过程中，我们还把整套Machine Learning Operations的软件也集成到了平台里面。对于用户来说，标完一批数据就可以扔进预标注算法里面，再次进行标注算法训练。整个过程足够简单，使得即使可能不太会算法开发的一个项目经理也可以去做这个事情。总结起来就是自动化再加上复利，使得整个数据成本能够大幅降低。 **Q：在AI数据服务市场竞争日益激烈的背景下，整数智能如何保持其市场地位和技术领先？** **整数智能创始人兼CEO 林群书：** 在过去几年中，AI技术在各个领域的应用场景都十分丰富，而智能驾驶领域则是其中最具挑战性的之一，尤其是在处理数据量巨大的情况下。一家车企每年可能需要处理超过1亿公里的数据，这就使得数据的筛选和标注成为了一个至关重要的问题。而数据的多样性，例如来自摄像头传感器和激光雷达的图像和点云数据，更增加了标注的难度。 特斯拉在早期曾面临这个问题，他们尝试过纯手工标注数据，但效率极低。一段视频可能需要花费超过500个小时的人工时间。为了提高效率，特斯拉开发了一个自动化的数据闭环系统，结合4D标注工具和自动化标注技术，将标注效率提升了近百倍。但这样的技术进步需要大量的人才、时间和资金投入，特斯拉花了三年时间才将这个系统迭代到足够成熟的阶段。 中国车企也意识到了对高质量数据工程平台的需求，因此我们在2023年推出了一款4D标注平台。与传统的2D或3D标注方法不同，我们的平台可以处理时间序列上的大量帧数据，并通过3D重建技术将多帧数据融合到一帧上进行标注。这意味着只需要一次标注过程，就可以完成对所有帧的标注任务，从而提高了标注效率。去年，我们不仅在自动化和覆盖方面取得了进展，还针对特定垂直领域为客户提供了更加定制化和专业化的工具。根据行业数据和客户需求的特点开发工具，从而真正地为车企提供更大工业级工具水平的服务。 我印象深刻的是客户希望采购我们的工具平台，因为我们在去年3、4月就已经研发出来，而竞品要等到今年6月后才能推出。这是我们的竞争优势——我们更了解数据处理的方式和海外优秀AI公司的做法。我们可以将这些经验转化为自己的工具和经验，帮助中国AI公司有效降低数据处理成本。 **Q：各位嘉宾能否展望一下未来在LM base的AI技术栈的发展，最大可能的技术机会或者技术爆炸点在哪里？** **整数智能创始人兼CEO 林群书：** 我觉得 2024 年比较值得关注的是合成数据。之前大家在训练算法时，或多或少会使用一些合成数据，但主要是类似于数据增强的效果，如裁切或对比度变化。然而，到了2023 下半年，我深刻感受到核心数据技术的成熟度正在快速提升。 虽然目前可能还没有达到在自动驾驶等领域直接用于模型自动化训练的水平，但 2024年很可能会迎来一个突破点。人们会发现，现有的核心数据用于训练的好数据并不多。因此，我们整数智能在 2024 年将采取行动，成立一个开源数据基金会，投入 1024 万的资金（即 2 的 10 次方），创建各种前沿 AI 领域的工程数据集，以帮助更多企业和科研机构发展出最新的 AI 算法。 **未来速度CEO 秦续业：** 2024年被普遍认为是AI落地的元年，因此要实现真正的落地，需要全方位发展，包括模型能力等各个方面达到一个阈值。我相信今年在这方面会有重大突破。回顾 2023 年，这一领域的发展已经非常迅速，包括agent等能力都取得了巨大进展。因此，我相信随着今年的发展，将迎来真正的落地元年。 **英飞流创始人 张颖峰：** 我同样认为 2024 年是 AI 落地的关键时刻。而对于落地，更具体来说，我认为今年的重点是在 RAG（Retrieval-Augmented Generation）领域。很简单，如果 RAG 做不好，那么 Agent 如何能做好呢？目前 RAG 落地的最大瓶颈仍然是大模型本身。就目前而言，要达到我们的期望还有很长的路要走。但我相信今年在这方面会有所突破。 **白海科技创始人兼CEO 卢亿雷：** 我们理解，2023年是Foundation Model 基础大模型的元年。而在2024年，前面几位嘉宾也提到了应用落地的重要性。要想实现落地，就需要工具支持，无论是训推、 Agent、RAG 还是其他平台。因此，我认为2024年将是创业公司在工具层面上的元年。没有适用的工具，就无法实现快速落地。所以对于我们，至少对于在座这几位嘉宾来说，投身工具开发领域会是一个非常好的机会。 --- 原始发布版本：https://view.inews.qq.com/a/20240326A06R0R00 本站阅读页：https://ffcap.cn/research/20240326a06r0r00