Rezultatele au fost publicate sub forma unui raport NIST ( NISTIR 8311 ), primul dintr-o serie planificată din programul NIST’s Face Recognition Vendor Test (FRVT) privind performanța algoritmilor de recunoaștere a fețelor acoperite parțial de măști de protecție.
Echipa NIST a explorat cât de bine reușește fiecare dintre algoritmi să efectueze potrivirea „unu-la-unu”, a unei fotografii ale aceleiași persoane cu și fără mască.
Echipa de cercetători a aplicat digital diverse forme de mască pe fotografiile originale și a testat performanța algoritmilor. Deoarece măștile din lumea reală diferă, echipa a venit cu nouă variante de măști, care includeau diferite forme, culori și acoperirea nasului. Măștile digitale au fost negre sau albastru deschis, la fel ca măștile din realitate. Formele au inclus măști rotunde care acoperă nasul și gura și un model mai mare, la fel de lat ca fața purtătorului. Aceste măști mai largi aveau variante care acopereau nasul în diferite grade. Echipa a comparat apoi rezultatele cu performanța algoritmilor pe fețe nemascate.
„Niciunul dintre acești algoritmi nu a fost conceput pentru a rezolva măști de față, iar măștile pe care le-am folosit sunt creații digitale, nu măști reale", a declarat Mei Ngan, informatician NIST și autor al raportului.
Concluziile studiului
· Acuratețea algoritmului de recunoștere a fețelo mascate a scăzut substanțial. Folosind imagini fără mască, algoritmii cei mai exacți nu au reușit să identifice persoana în aproximativ 0,3% din cazuri. În cazul imaginilor cu mască, rata de eșec a algortimilor de topa crescut la aproximativ 5%, în timp ce mulți algoritmi considerați a fi buni au eșuat în proporții cuprinse între 20% și 50% .
· Imaginile cu mască au determinat mai frecvent algoritmii să nu poată procesa o față, eroarea fiind denumită “failure to enroll or template” (FTE). Algoritmii de recunoaștere funcționează de obicei prin măsurarea caracteristicilor feței - de exemplu, dimensiunea și distanța diferite puncte, și apoi compararea acestor măsurători cu cele dintr-o altă fotografie. Un FTE înseamnă că algoritmul nu ar putea extrage caracteristicile unei fețe suficient de bine pentru a face o comparație eficientă.
· Cu cât o mască acoperă mai mult nasul, cu atât precizia algoritmului este mai mică. Studiul a explorat trei niveluri de acoperire a nasului - scăzut, mediu și ridicat - constatând că recunoașterea se degradează la o acoperire mai mare a nasului.
· Erorile în recunoașterea feței pot lua forma fie a unui „fals negativ”, în care algoritmul nu reușește să potrivească două fotografii ale aceleiași persoane, fie a unui „fals pozitiv”, în care indică incorect o potrivire între fotografiile a două persoane diferite. Scăderea modestă a ratelor fals pozitive arată că ocluzia cu măști nu subminează acest aspect al securității.
· Contează forma și culoarea unei măști. Ratele de eroare ale algoritmului au fost în general mai mici cu măștile rotunde. Măștile negre au degradat mai mult performanța algoritmului în comparație cu cele albastre chirurgicale.
