---
title: "英飞流张颖峰：RAG将在2024年得到快速增长｜非凡挚友"
id: "20240112A07X8R00"
publicationAccount: "非凡产研"
originalPublishedAt: "2024-01-12T18:00:00+08:00"
canonical: "https://ffcap.cn/research/20240112a07x8r00"
source: "https://view.inews.qq.com/a/20240112A07X8R00"
sourceAccount: "https://news.qq.com/omn/author/21759984"
language: "zh-CN"
tags: ["营销增长","模型与基础设施","电商零售","组织转型","开源与本地部署"]
---

# 英飞流张颖峰：RAG将在2024年得到快速增长｜非凡挚友

文章中的“非凡产研”是原始发布账号署名，不代表已核实个人执笔作者。引用访谈或圆桌观点时，应按正文标明具体发言人及当时身份；无法确认时不要推断。日期为原始发表日期，历史信息以发布时点为准。

![英飞流张颖峰：RAG将在2024年得到快速增长｜非凡挚友 · 原文图片 1](https://inews.gtimg.com/om_bt/O6i3JxSIU5mQ6aRmyIR6r4FAEXuBrtecpUiFwkqGxOs0AAA/1000)

##    ******嘉宾介绍******

张颖峰，英飞流创始人，连续创业者。先后负责7年搜索引擎研发，5年数据库内核研发，10年云计算基础架构和大数据架构研发，10年人工智能核心算法研发，包括广告推荐引擎，计算机视觉和自然语言处理。先后主导并参与三家大型企业数字化转型，支撑过日活千万，日均两亿动态搜索请求的C端互联网电商业务

**英飞流(InfiniFlow)2023年8月成立于上海，是一家AI基础设施服务商，致力于AI技术的普适化，让所有企业受益于人工智能。**英飞流的主打产品是AI原生数据库，结合大模型共同服务 RAG 场景; 英飞流同时还提供完整的行业RAG解决方案，端到端解决LLM落地的实际挑战。

##    ******快问快答******

**1、能否介绍下你们的产品和核心应用场景？**

我们产品主要是两方面，一个是Infra层面的Infinity AI原生数据库，主要是为 RAG 服务的，作为全新开发的数据库，它解决了当下向量数据库在服务RAG时的诸多问题，可以提供更好的RAG能力和满足未来 RAG 进化的需求。另一方面是完整的 RAG 解决方案，由于数据库本身距离业务有一些远，再加上 LLM 落地企业还处于初期，因此我们用完整的RAG 解决方案帮助客户加速数智化进程。

**2、目前产品研发和市场拓展情况是什么样？2023年遇到的最大挑战和收获有哪些？**

目前我们的数据库已经赶在23年年底之前开源，到目前为止项目在开源社区引起了较多的关注。预计在今年3-4月会有第一个release，届时我们将会有一些种子用户的试用。在数据库稳定之前，我们也同步展开了 RAG 解决方案的研发，这些解决方案主要针对 RAG 实施过程中遇到的痛点进行针对性解决。RAG解决方案目前已经在多个行业客户中试用和POC。

**目前的最大挑战还是在于 LLM 虽然火热，但是其效果达到让企业满意还有一定距离，因此让企业对基于LLM的产品愿意付费，其实还是不容易做到的。**

最大收获则是通过我们的努力，加速让 RAG 在国内多个行业落地试用，通过客户的反馈，使得我们对 RAG 所需要的核心能力诉求有了更多感受，这反过来也调整了我们在Infinity数据库研发的优先级，让数据库更加关注当下 RAG 实施的一些痛点，从而让数据库本身不仅着眼于长期，也能更好地立足当下。

**3、生成式AI和大语言模型为创业者带来了哪些机遇？这波创业浪潮和过往有哪些不同？**

最大的机遇就是数智化这件事不再是说说而已。AI发展近十年以来，在企业的应用仍然局限在营销等有限场景。在流量红利已经接近结束的今天，需要有更多的应用脱颖而出，去解决营销之外的一些问题，比如效率提升，办公辅助，等等，而这件事是在LLM出现并流行之后才成为可能。**换句话，过去的AI落地企业，是为了解决单一问题的，而当下的LLM，是可以在更多通用层面解决问题。**

**4、目前国内市场环境落地AI应用面临哪些挑战？**

最大挑战是国产LLM目前在能力上距离ChatGPT差距较大，因此限制了很多应用场景的真实落地。

其次是受到大环境影响，国内客户对于付费意愿都下降很多，对于AI产品的能力期望跟AI的实际能力之间的GAP较大。

再其次是一些算力上的挑战，虽然说通过RAG等方案已经大大降低了企业在硬件上的成本，但即便如此，仍然会有一些算力上的瓶颈，期待国产GPU出货及其配套生态能快速跟上。

**5、面对巨头可能带来的“降维打击”风险，AI创业公司应该如何保持竞争力？**

至少在我们所处的Infra领域，我不认为巨头能带来降维打击。这是因为Infra层面，需要长期的积累，才能对产品的关键特性把握准确，并且创业公司还有迭代快速，产品可用性好的优点。而巨头在Infra层面容易陷入KPI导向的造轮子行为，对于产品的特性，易用性，成本等都考虑不够全面，从长期来看，巨头在Infra领域的竞争力是不足的。

**6、一些创业者认为大语言模型目前能力还不够，限制了AI应用/产品的发展。您对此怎么看？**

目前LLM的能力距离理想还相差很远，极大限制了AI应用的进一步发展。举例来说，很多LLM在评测中拿到了很好的成绩，有多个模型总是在宣称接近甚至超过了ChatGPT，然而事实上，这些LLM在服务具体场景，比如RAG的时候，能力相距ChatGPT差距巨大。 

**7、2024年还有哪些新技术趋势值得关注？**

行业有说法2024年是“RAG元年”，我不确定这个说法是否准确，但RAG在2024年有快速增长是可以预期的。2024年在RAG的Infra之外，也会有更多的提升RAG的模型出现，包括文档理解，文档排序等等。

2024年在LLM本身，多模态应该会有长足的进步，低成本的开源多模态和MOE都会流行和普及开来

2024年在LLM的推理加速，也会有显著进展，这来自两方面：其一是基于Transformer本身的推理架构，通过量化和稀疏等技术手段，都可能会产生更大的加速进展；其二是基于更新的backbone网络构建的LLM，可能会逐步流行开来，这极大化降低了推理和训练的成本

**最后我期望在2024年国产和开源LLM能够有一些真正的突破，不要满足一些简单的评测上超过OpenAI，而要在一些真实的能力，比如摘要，比如可控制的幻觉等等落地痛点上有切实有效地推进。**

##    ******报名通道******

作者：张颖峰

编辑：Qiuping

---

原始发布版本：https://view.inews.qq.com/a/20240112A07X8R00

本站阅读页：https://ffcap.cn/research/20240112a07x8r00