Top
首页 > 正文

智能质检升级换代:为什么“关键词”不够用了?

发布时间:2020-02-25 14:57        来源:凤凰网        作者:

市面上有很多面向销售和客服人员的语音质检系统、文本质检系统,绝大部分产品实际使用的是基于“关键词+正则表达式”的机器质检系统。

这种方法的主要优点是部署和上手使用都比较快,主要缺点是存在非常严重的漏检情况。就像一个漏孔很大的筛子一样,难以满足企业对质检的需求越来越精细、对质检效率要求越来越高的发展趋势。

因此,在“关键词+正则表达式”之外,我们开始越来越多地为客户提供基于“语义点+机器学习”方案,并且在实际使用中为很多质检项带来 2~10 倍的效果提升。也就是说,能够多发现 2~10 倍的问题。对于企业而言,这就意味着他们可以更快、更全面地提升服务质量或者实现合规升级。

下一代机器质检:从关键词到语义点

语音和文本质检的主要任务是找出不合格、不合规的地方,即减分项,通常也被称为“负向质检”(另有一种任务是找出做得好的地方,即加分项,通常也被称为“正向质检”)。企业使用传统基于“关键词+正则表达式”的产品做质检,所遇到的最主要问题是“找不全”,通常会漏掉很多不合格、不合规之处,导致质检效率大打折扣。

看一个实际对比的例子。某互联网公司的基础质检项“服务态度问题”,在我们的实际应用中:使用传统“关键词”方案,一天的数据中能找出 13 条,100% 是正确的;使用新的“语义点”方案,能找出 134 条,其中 72% 是对的。所以从最终正确的条数来看,新的“语义点”方案多找出了 8 倍的问题。

再看一个实际的例子。“恐吓威胁”是贷后资产管理领域的基础质检项,即催收员不允许在电话里“恐吓威胁”债务人。在我们的实际应用中:使用传统“关键词”方案,四天的数据中能找出 316 条,其中 55% 是正确的;使用“语义点”方案,能找出 2203 条,其中 72% 是对的。从最终正确的条数来看,174条对比1596条,新的“语义点”方案能多找出 9 倍的风险。

原因其实很简单。如果使用基于“关键词+正则表达式”的方案,方法是用关键词的组合来涵盖每个质检项的不同表达方式——但是你可以写10个关键词,100个关键词,却永远不可能穷尽,因为语言的表达方式是非常多样的、千变万化的,必须通过整个句子的上下文语义才能做出更准确的判断。

上下文语义质检的技术原理

语义点+机器学习的方案,目标是训练一个机器学习算法模型,使之能够判断关键词未覆盖的句子是否命中了质检项。

我们以另一个贷后资产管理领域常见的质检项“暴露客户隐私”为例。从标注到训练模型,再到最后上线使用,新的“语义点”方案大致可以分为三个步骤。

第一步,使用我们的“标注工厂”产品,通过人工的方式,将是“暴露客户客户”的句子标记为“正例”,将不是“暴露客户隐私”的句子标记为反例。

第二步,将一定规模的经过标注的正例和反例都“喂”给训练器,让训练器学习到一个算法模型,这个算法就能用来判断新句子是不是涉嫌暴露客户隐私。

第三步,在质检产品中,系统就可以标记出所有命中“暴露客户隐私”语义点质检项的句子,复检员可以快速定位到该质检项所处的位置,迅速进行核实。此外,复检员每一次复检的操作,都相当于对算法模型进行了一次反馈,会帮助算法模型变得更准。

最终,我们发现通过“语义点”方案能比关键词的方案多找出数倍的不合格、不合规之处,达到召回率(找的全)、准确率(找的准)均在 80% 以上的效果。

上下文语义质检的底层逻辑

从底层逻辑上看,基于“关键词”的方案是字符级别的,并不关心句子的语义,而基于“语义点”的方案是句子级别的,非常关心句子上下文的逻辑和语义。两者并不在同一个维度。可以想见,未来关键词方案越来越难当大任,而语义点的方案会逐步成为主流。

不过,语义点方案也有一个显著的缺点“部署成本高”。为了训练一个语义点的质检项,需要人工标注大量句子,然后训练和调试算法模型。因此,大家并不会立即就把所有质检项切换到“语义点”方案,而是优先把那些最常见的质检项切换到“语义点”方案。

总结循环智能在教育、金融、互联网服务等不同行业数十家客户的服务经验,我们发现质检项与违规数的关系也存在“二八法则”——20%的质检项贡献了80%的违规数,所以将最常见质检项升级到“语义点”方案,即可为整个业务带来显著的效果提升。

同时,我们也应该了解到,随着自然语言处理领域新技术的突破,从字符级“关键词”方案,向句子级“语义点”方案转换的速度正在加快。过去两年,自然语言处理领域迎来了繁荣时期。Google 发表于 2018 年的 BERT 模型,为行业带来了全新的技术思路,具有里程碑意义。2019年6月,作为 BERT 模型的一种重要的改进方案,XLNet 模型在 20 个标准任务集上超过 BERT,并且在 18 个标准任务集上取得 state of the art 成果,包括机器问答、自然语言推断、情感分析和文档排序等。

XLNet 模型由循环智能联合创始人杨植麟博士(第一作者),与谷歌大脑、卡内基梅隆大学共同推出。该模型具备编码超长序列的能力——简单理解就是可以更好地理解长句子。2019年末,XLNet 被人工智能领域的顶级学术会议 NeurIPS 2019 接收为 Oral 报告论文(占比 0.5%)。同时,XLNet 也入选了权威的中国人工智能学会《2019人工智能发展报告》,被称为 BERT 之后重要的进展之一。

循环智能(Recurrent AI)正是基于原创的、世界前沿的 XLNet 模型,在智能质检产品中的加速向“语义点”方案转换,取得远超传统方案的效果。过去一年,我们的智能质检系统获得多家金融、教育、互联网服务领域赢得多家标杆客户的商业订单,包括众安保险、玖富、CBC、华道、你我贷、人人贷、新东方在线、猎聘等。

每日必读

专题访谈

合作站点