性能测试和报告是维护准确和公正的系统的关键
生物识别系统可用于自动进行身份验证和识别某人。当使用人脸或指纹识别符来解锁移动设备时,我们大多数人都会与这些系统进行交互,其他生物识别系统应用程序包括虹膜扫描、签名验证等。从本质上说,这些系统依赖于来自于个体的生物和行为特征的特定数据。
到2028年,全球生物识别系统市场的价值预计将达到85亿美元。作为一个快速发展的产业,其有着广阔的应用前景。但与所有快速发展的技术一样,它也存在若干风险,特别是在隐私、数据收集、存储和系统性能方面。
为了应对这些风险,澳大利亚标准局最近更新了其生物识别性能测试和报告标准的第一部分(AS ISO/IEC 19795.1:2022 《信息技术 生物识别性能测试和报告 第1部分:原则和框架》)。修订版为实现公正和准确的报告提供了指导,同时为供应商测试和评估引入了公平的竞争环境。 下面,我们将探讨生物识别系统的产生、测试和报告的重要性,以及这次修订的影响。
生物鉴别系统的出现
根据澳大利亚标准局IT-032生物识别委员会主席Stacy Oerder的说法,生物识别系统的增长与2001年9月11日恐怖袭击具有部分有关性。这次攻击推动了国际社会的联通,特别是在身份识别和旅行证件中的面部识别方面。
不久之后,人们建议在美国边境的进出口岸安装生物识别筛选系统。
2003年,澳大利亚政府通过立法,允许行政人员从非澳大利亚公民身上获取生物特征信息。这项立法旨在防止签证申请过程中的身份欺诈。2005年,政府实施了电子护照,这是一种微芯片护照,人们可以在通过机场智能门时使用它。智能门系统利用电子护照中的生物鉴别信息,使海关和移民检查自动化。
从那时起,生物鉴别认证系统在银行、医疗保健、消费电子设备等各个行业都被广泛使用。
生物系统性能
生物识别系统的性能受到多种因素的影响,包括训练数据的构成、算法匹配和误差匹配的解释等。简单地说,如果相关的生物识别系统是在一个不那么多样化的数据集上进行训练,那么结果可能会偏向于某些特征。
面部识别软件因可能存在的偏见而受到批评,测试结果也反映这一特征。为了评估生物鉴别系统的性能,美国国家标准与技术研究院在各种测试场景下对多个供应商的算法进行了大规模的面部识别测试。这些测试为供应商和潜在用户提供了算法性能的基准。
NIST最近进行的人口统计效应测试证实,存在人口统计差异对性能产生影响,开发人员应该设计算法来消除这种偏差。这个测试只是生物鉴别系统性能如何受到影响一个的例子。在获取和登记生物特征数据方面,有许多因素可能导致生物特征识别系统出错。例如,如果收集的样品质量差或损坏,可能会发生错误,这可能是捕获装置或环境的影响。
这些错误的风险意味着生物识别系统将无法正常工作,或者用户根本无法使用该系统。
ISO/IEC 19795.1:2022如何提供帮助?
"这个标准是非常重要的,"奥尔德女士说。
“它提供了一套关于测试的原则和指导方针,为所有供应商的测试引入了一个公平的环境,使产品的比较成为可能。”
"如果没有这样的标准和做法,潜在的客户或实施者就依赖于其供应商提供的业绩和能力报告。"
如ISO/ IEC 197951:2022所述,规定了对测试协议的要求,其目的是减少由于数据收集或分析程序问题而造成的偏差。
该标准创建了测试生物鉴别系统性能的一般原则,该原则包括了特定性能要求的错误率和吞吐率,旨在确定生物测定系统的性能指标,帮助实现对耗费精力的现场性能的最佳预测,并增强对测试结果适用性限制的理解。
奥尔德女士表示,"更新后的标准让人们了解了用于验证和识别的算法,并促进了算法测试的统一,","通过使用生物测定技术,我们必须知道算法如何进行匹配以及生物测定系统如何执行。随着时间的推移,我们看到的复杂性是源于算法变得越来越智能和优化"。