跳到正文
非凡资本

研究与观点 / UNIQUERESEARCH

非凡挚友 | 数美科技副总裁:以AI治理AI,数美科技为AIGC行业提供智能内生、实时防御的内容安全保障

非凡挚友 | 数美科技副总裁:以AI治理AI,数美科技为AIGC行业提供智能内生、实时防御的内容安全保障 · 原文图片 1
   嘉宾介绍
非凡挚友 | 数美科技副总裁:以AI治理AI,数美科技为AIGC行业提供智能内生、实时防御的内容安全保障 · 原文图片 2
   快问快答
一、产品与技术
Q:请提供一段对于公司、产品和创始人的简要介绍

数美科技(北京数美时代科技有限公司)成立于2015 年 6 月,是一家专业的在线业务风控解决方案提供商,致力于用AI技术解决在线业务中广泛存在的业务风险与内容风险,提供天网-全栈式智能业务风控和天净-全栈式智能内容风控两大核心产品,为企业客户提供全流程、全维度、全场景的数字风控技术解决方案,护航企业在线业务的安全健康发展。

天网,是数美科技结合多年黑产对抗经验打造的一款全栈式智能业务风控产品,旨在为客户解决营销欺诈、交易风控、数据盗爬、欺诈广告等风险问题,降本增效。

天净,是数美科技结合人工智能技术打造的一款全栈式智能内容风控产品,旨在为客户提供一站式的内容风控方案,帮助客户识别文本、图片、音频、视频、网页中出现的涉政、违禁、暴恐、色情、导流广告等内容,规避内容风险,提升运营效率。

目前,数美科技全球设有北京、上海、广州、新加坡、法兰克福、弗吉尼亚等多个服务集群,服务覆盖全球上百个国家和地区,覆盖AIGC、新零售、金融、航旅、社交、游戏、地产、电商等十多个行业3000余家客户,为全球企业的数字化转型保驾护航。

数美科技创始人兼CEO唐会军,曾先后出任百度“系统技术委员会主席”和360高级技术总监,拥有10余年超大规模大数据平台数据挖掘等领域经验,是国内早期研究大数据领域的专家。

Q:如何定义产品的核心价值定位?与通用大模型(如ChatGPT)相比,您的AI应用在垂直场景中解决了哪些独特痛点?

数美科技的AIGC内容风控产品,核心解决的是AI内容安全问题。

在大模型深度嵌入政务、金融、社交等场景的今天,大模型本身的安全问题,包括模型输出内容的准确性、避免幻觉问题(即模型输出不符合事实或逻辑的内容)、防止模型被恶意利用生成有害信息等,是当前最复杂和最具挑战性的。解决内容安全问题的挑战性主要体现在以下几方面: 

1. 数据清洗与模型训练‌:尽管可以通过清洗训练数据和强化学习来减少模型输出有害内容的风险,但幻觉问题和遗忘问题仍然难以完全避免。

2. 实时性与动态性‌:大模型的应用场景复杂多变,输出的内容需要实时且准确地满足用户需求。同时,随着时间和环境的变化,有害信息的定义也在不断演变,这对内容安全的实时性和动态性提出了更高要求。

3. 跨领域与多样性‌:大模型的应用涉及多个领域和场景,每个领域都有其特定的敏感信息和风险点。如何针对不同领域和场景提供定制化的内容安全解决方案是一个巨大挑战。

数美科技基于近十年在内容安全领域的技术积淀,,率先推出的针对AIGC场景的内容安全产品,为国内头部大模型厂商提供语料训练、模型备案及上线应用的全流程、实时的风险内容检测,确保输出内容的安全性和准确性。同时,数美科技团队深入研究全球不同国家与地区的法规政策、文化习俗,支持18种全球主流语种的内容审核,覆盖全球90%人口常用语言,建立了覆盖全面、地区特色鲜明的全球化内容审核方案,真正做到“一地一策,一客一策”。 

目前数美的AIGC内容安全产品已服务国内外100+AIGC行业客户,为大模型的安全健康发展赋能。

Q:大模型在内容安全层面的最大的挑战在哪里?如何应对高敏感的场景?

大模型在内容层面最大的难点不是安全问题,而是如何做好内容安全与用户体验的平衡?,内容安全不是‘一刀切’的过滤,而是对用户意图的深度解析与动态响应。

数美的内容安全产品中包含了多个针对不同安全风险的模型,如识别违法违纪意图的模型、识别歧视仇恨言论的模型等,并通过构建精细化的四级标签体系,深度理解用户意图与观点,实现对内容的精准分类与高效处理。

同时,在此基础上针对DeepSeek等大模型应用中最危险且最难处理的敏感问题场景,数美在内容安全产品中内置了强大的敏感问题代答知识库,通过300万组QA对的可信安全知识库和安全模型,对违禁意图、色情、涉政百科类等风险问题提供安全、准确、全面的代答,针对自杀自残等不良价值观倾向等问题给予正向积极的引导回答,降低大模型拒答率,并支持对风险问题进行正向引导与纠偏,实现从“安全围栏”到“正向引导”的人性化防护。

Q:如何平衡生成式AI的创新能力与输出可靠性?在降低“幻觉”风险方面有哪些技术或流程保障?

风控并不是限制创新,而是为创新护航。AIGC的发展日新月异,但越强大越需要有‘边界’,数美所做的内容风控,正是界定其边界的关键形式与分类。

目前AI幻觉已经解决了一部分。对于知识类和时事类可以通过知识库对生成内容进行纠偏,数美提供的知识库智能代答服务就是解决此类问题

二、伦理与社会影响
Q:在AI产品开发中,如何应对伦理风险(如数据偏见、深度伪造)与监管合规要求?

在构建训练数据集时,注重数据的多样性和代表性,确保数据覆盖不同人群、文化、地域等维度,从而减少数据偏见。同时,通过持续的模型评估和优化,修正潜在的偏见问题,也可在算法设计中引入透明性原则,确保模型的决策过程可解释,便于发现和纠正偏见。

AI深度伪造包含AI修图,AI换脸,AI生成,一方面在备案,提供服务等阶段落实《生成式人工智能服务安全基本要求》等标准,通过机审结合人审及时发现新的风险并快速处理,减少传播。另一方面要加强黑产行为识别,大力度打击黑产工具传播,从源头上减少AI深度伪造的出现。

Q:如何看待AI技术对就业市场的影响?您的产品是否设计了对“人机协作”模式的优化支持?

在大模型爆火后,人类会不会被人工智能所替代,成为大家争相探讨的热门话题。AI替代专业领域里面的人,短期内数美认为是很难做到的,但它能被专业领域所应用,替代脑力劳动里面的体力劳动,即辅助完成那些重复性的、不需要太多深入思考与分析的信息提取总结、简单逻辑的代码生成等工作。

数美科技针对复杂场景的审核,建立了人机协同审核机制,通过人审进行二次兜底,确保内容安全。

三、未来趋势
Q:未来3年,哪些技术趋势将深刻影响AI应用层的发展?您认为“AI管人”与“人管AI”哪种模式更具商业潜力?

(1)“AI管人”模式:效率优先的自动化治理

优势:适用于高并发、标准化场景(如海量AIGC内容审核),通过AI实现智能风险检测与拦截,大幅降低人力成本

局限:AI可能对复杂语义、文化语境的理解仍存短板,需依赖持续的人工标注与模型迭代。

(2)“人管AI”模式:价值对齐的协同治理

优势:在伦理敏感领域(如医疗、法律内容审核),人类专家可纠正算法偏见,确保决策透明性。 

局限:响应速度与规模化能力受限,难以应对突发流量(如热点事件引发的舆情)。

(3) 融合模式:人机协同的“增强智能”体系

从商业潜力看,“人管AI”框架下的增强协作模式更具长期价值:

(1)技术层面:通过可解释AI向人类提供决策依据,例如风险评分可视化、溯源链路图谱;

(2)商业层面:符合监管对“人类最终控制权”的要求,同时满足企业对降本增效的需求。数美科技的客户实践显示,融合模式可使内容安全运营效率提升的同时,降低合规成本。

- END -

来源:非凡产研 · 腾讯新闻。文章中的“非凡产研”是原始发布账号署名,不代表已核实个人执笔作者。引用访谈或圆桌观点时,应按正文标明具体发言人及当时身份;无法确认时不要推断。日期为原始发表日期,历史信息以发布时点为准。

阅读原始发布版本 ↗
← 返回研究文章库