Top
首页 > 正文

全球人脸识别算法测试(FRVT)最新榜单解读,冠军花落多家

近日,美国国家标准与技术研究院(NIST)公布了全球最权威的人脸识别算法测试(FRVT)的最新结果,此新榜单最明显的变化就是冠军花落多家:四类人脸识别测试子任务中,最具挑战的“非约束性环境照片”人脸识别算法测试子项目冠军由格灵深瞳摘得,”签证照片“人脸识别算法测试子项目由...
发布时间:2019-07-10 15:40        来源:飞象网        作者:

近日,美国国家标准与技术研究院(NIST)公布了全球最权威的人脸识别算法测试(FRVT)的最新结果,此新榜单最明显的变化就是冠军花落多家:四类人脸识别测试子任务中,最具挑战的“非约束性环境照片”人脸识别算法测试子项目冠军由格灵深瞳摘得,”签证照片“人脸识别算法测试子项目由依图科技获得,”嫌疑人照片“人脸识别算法测试子项目冠军则落入俄罗斯厂商VisionLabs囊中,而“非约束性环境儿童照片”类冠军未能上榜前20名,Ntechlab(俄罗斯)、VisionLabs(俄罗斯)、格灵深瞳(中国)则分列第二、三、四名。

人脸识别算法测试FRVT由直属美国商务部的美国国家标准与技术研究院(NIST)主办,素有工业界黄金标准之称。FRVT通过不同类型的照片样本进行上百亿次对比,对人脸识别算法的评估可达到百万分之一精度,也是当今全球规模最大、标准最严、竞争最激烈、最权威的人脸识别算法竞赛。

截至目前,全球已有近百家公司和研究机构参与了此项测试,包括VisionLabs(俄罗斯)、Ever AI(美国)、 Vocord(俄罗斯)、 依图、商汤、旷视、海康、大华、腾讯等等。值得一提的是,FRVT的排名采取的是历史累计的计算方法,每次更新结果均基于有史以来所有参与FRVT的机构最优成绩综合排名,最大程度保证测试结果的准确性和权威性,这进一步印证了包括格灵深瞳在内的中国人脸识别算法团队已经处于世界领先地位。

 

 

图1: 签证、嫌疑人、自然场景的测试图片样例

 

根据参赛者介绍,此次FRVT测试(人脸识别测试)分为四个子任务,每个任务对应来自不同场景的不同类型照片样本,分别为签证照片(Visa)、嫌疑人照片(Mugshot)、非约束自然环境人脸照片(Wild)、非约束环境下儿童照片(Child ),其中Visa、MugShot、Wild样例请见图1。由于FRVT测试不限定训练集,且多个任务的测试数据主要来自于欧美人种,所以包括格灵深瞳在内的国内厂商在训练数据上相对欧美厂商存在一定劣势;同时,由于测试集不对外公开,采取盲测的方式,相对LFW等测试集公开的比赛,FRVT测试更具有公平性,也更能测试出人脸识别算法的精确度、适用性和通用性。

 

 

 

 

图2 FRVT前20名参赛者列表

(表格按嫌疑人跨年龄识别项目的结果进行排序,截至2019年7月3日)

 

图2列举了前20名主要厂商在各个子任务上的成绩,该表格基于第四列(跨14年的嫌疑人照片)测试任务的结果进行排序(每个测试结果右上角数字为该项测试任务的排名次序,空白表示未参与该子任务),可能基于人脸识别在国际上多应用于嫌疑人追查、逃犯预警等,嫌疑人照片样本测试结果更为重要。研究测试结果发现,多数人脸识别测试厂商的表现不足够稳定,在参与所有四类共6项人脸识别测试子任务中,只有Visionlabs和Deepgint(格灵深瞳)表现非常稳定,每个子任务的测试结果排名差距较小,这也证明目前人脸识别算法已经达到可商业化应用水平,但某些特殊场景仍然需要加强算法的稳定性和通用性。

据主办方介绍,FRVT的人脸识别测试将在未来继续进行全球范围内比赛,下一次又将是哪个团队摘得桂冠?在人工智能这条国际性赛道上,中国团队能否再次抢占先机?我们拭目以待。

专题访谈

合作站点
stat