Warum Live-Feedback-Anbieter auf den Smartphones getestet werden sollten, die echte Nutzer verwenden

Der Weg am meisten Systeme zur Identitätsüberprüfung Die Art und Weise, wie sie getestet werden, entspricht nicht ihrer tatsächlichen Verwendung.

Im Labor sind die Kameras sauber. Die Beleuchtung ist kontrolliert. Die verwendeten Smartphones sind in der Regel die neuesten Modelle, oft sogar aus derselben Generation wie die Softwareentwickler. Die Ergebnisse sind beeindruckend: 99 % Trefferquote und keine einzigen Angriffe wurden erkannt. Solche Ergebnisse machen sich hervorragend auf einer Marketingseite.

Im Produktivbetrieb, wenn dasselbe System einen Freelancer in Manila, einen Lieferfahrer in Lagos oder einen Kunden, der sich auf einem vier Jahre alten Android-Gerät bei einer Geldtransfer-App anmeldet, verifizieren muss, können die Zahlen ganz anders aussehen.

Diese Diskrepanz zwischen Laborergebnissen und der tatsächlichen Nutzerleistung ist die Variable, die in den meisten Anbietervergleichen stillschweigend außer Acht gelassen wird. Sie ist aber auch die Variable, die maßgeblich darüber entscheidet, ob Ihr Onboarding-Prozess tatsächlich funktioniert.

Woher die Zahlen des Lebendigkeitslabors stammen

Wenn ein Anbieter ein Liveness-Ergebnis veröffentlicht, stammt es üblicherweise aus einer von zwei Quellen.

Die erste Methode sind interne Tests. Das Unternehmen führt seine eigene Evaluierung mit eigener Testumgebung durch, wählt günstige Bedingungen und veröffentlicht das Ergebnis auf einer Marketingseite. Es gibt keine externe Überwachung.

Die zweite Möglichkeit ist die Zertifizierung durch unabhängige Labore. Organisationen wie iBeta-Qualitätssicherung Führen Sie formale Tests anhand internationaler Standards wie ISO/IEC 30107-3 durch. Diese Tests werden von den Beschaffungsteams ernst genommen, da sie geprüft, wiederholbar und evidenzbasiert sind.

Beide Verfahren liefern Zahlen. Doch die wichtigste Frage, nämlich auf welcher Hardware der Test tatsächlich durchgeführt wurde, geht oft im Kleingedruckten unter oder wird ganz ausgelassen.

Die Hardware, die die meisten Anbieter auswählen

Betrachtet man die veröffentlichten Laborergebnisse im Bereich Live-Tests der letzten zwei Jahre, so zeigt sich ein Muster. Die verwendete Hardware ist fast immer erstklassig und aktuell auf dem Markt. Beispiele hierfür sind das neueste iPhone Pro, das neueste Google Pixel oder ein Samsung-Flaggschiff der aktuellen Generation.

Das sind hervorragende Smartphones. Hochauflösende Sensoren, leistungsstarke Chips, die beste Kameraeinstellung, die der Hersteller bietet. Selbst Live-Scan-Systeme sehen damit gut aus.

Sie stellen aber nicht das Gerät dar, das ein typischer Benutzer in der Hand hält.

In vielen Märkten mit besonders schnellem Wachstum im Bereich der digitalen Kundenregistrierung, darunter Südostasien, die Golfregion, Afrika und Lateinamerika, stellen Mittelklasse- und ältere Smartphones den Großteil der aktiven Geräte dar. Kunden, die sich bei einem Fintech-Unternehmen in Kenia oder einer digitalen Geldbörse in Indonesien anmelden, nutzen wahrscheinlich kein aktuelles Flaggschiffmodell. Vielmehr verwenden sie mit hoher Wahrscheinlichkeit ein vier Jahre altes Android-Smartphone, ein günstiges Samsung-Gerät aus dem Jahr 2021 oder ein Pixel-Smartphone von 2019, das noch immer im selben Haushalt weitergegeben wird.

Wenn die Laborergebnisse eines Anbieters auf Hardware ermittelt wurden, die der Kunde nicht besitzt, lässt sich aus diesen Ergebnissen nur bedingt Rückschlüsse auf den Produktionsablauf ziehen.

Warum diese Lücke im Beschaffungswesen von Bedeutung ist

Teams, die im Bereich Identitätsmanagement Angebote für Live-Services erstellen, konzentrieren sich in der Regel auf drei Aspekte: Zertifizierungsniveau des Labors, Genauigkeitswerte und Preis. Die Hardwarefrage spielt dabei selten eine Rolle.

Das ist ein Problem. Das System desselben Herstellers kann auf verschiedenen Geräten unterschiedliche Ergebnisse liefern. Kamerasensoren, Rechenleistung und Farbwiedergabe können einen großen Unterschied machen. Ein passives Lebenderkennungsmodell, das ausschließlich auf Premium-Hardware trainiert und validiert wurde, kann auf einem Mittelklasse-Chipsatz mitunter Fehlfunktionen aufweisen, da das Eingangssignal tatsächlich anders ist.

Für ein Onboarding-Team, das in einem Markt mit großer Gerätevielfalt arbeitet, birgt ein Anbieter, der seine Leistungsfähigkeit nur auf Flaggschiff-Smartphones unter Beweis stellt, ein stillschweigendes Risiko. Dieses Risiko äußert sich in Abbruchraten, fälschlichen Ablehnungen und Beschwerden von Nutzern, die alles richtig gemacht haben, aber dennoch die Verifizierung nicht bestanden haben.

Der Test, der die Produktion tatsächlich vorhersagt

Käufer sollten auf unabhängige Labortests von Geräten achten, die den realen Einsatzbedingungen entsprechen. Nicht auf irgendwelche Smartphones, sondern auf die Smartphones, die die Nutzer tatsächlich besitzen.

Konkret bedeutet das, einen Anbieter nach der Geräteliste seiner letzten Laborbewertung zu fragen. Enthält die Antwort zwei Flaggschiff-Smartphones, die in den letzten 18 Monaten erschienen sind, ist das ein Warnsignal. Sind in der Liste hingegen Mittelklasse- oder ältere Geräte enthalten, ist das Ergebnis glaubwürdiger.

Das bedeutet auch, nach der demografischen Abdeckung zu fragen. Labortests nach ISO/IEC 30107-3 erfassen typischerweise Daten zu Alter, Geschlecht und Hautfarbe. Nicht alle Zertifizierungen veröffentlichen diese Daten, aber diejenigen, die sie veröffentlichen, verdienen besondere Beachtung. Ein Lebenderkennungssystem, das nur an einer kleinen demografischen Gruppe getestet wurde, wird im Produktivbetrieb uneinheitliche Ergebnisse liefern.

Wie Shufti diese Frage mit unabhängiger Bewertung anging

In Shuftis jüngstem unabhängigen Labortest wurden ein Google Pixel 4 (Veröffentlichung Oktober 2019) und ein Apple iPhone 12 Pro (Veröffentlichung Oktober 2020) als Testgeräte verwendet. Zum Zeitpunkt des Tests waren diese Geräte fünf bzw. sechs Jahre alt.

Das Ergebnis war eine Akzeptanzrate von 0 % und eine Ablehnungsrate von 0 % für echte Benutzer bei 900 Präsentationsangriffen. iBeta PAD Level 3, die höchste Stufe der Norm ISO/IEC 30107-3.

Die Testmannschaft war bewusst vielfältig zusammengesetzt: 40 % weiblich, 30 % nicht-weiß, wobei alle Altersgruppen vertreten waren.

Beide Entscheidungen wurden bewusst getroffen. Shufti Das Unternehmen ist in über 240 Ländern aktiv, und die Plattform muss in Märkten funktionieren, in denen Mittelklasse-Smartphones den Großteil der aktiven Nutzer ausmachen. Ein Test, der diese Realität nicht widerspiegelt, hätte weder uns noch unseren Kunden nützliche Informationen über die tatsächliche Leistungsfähigkeit des Systems geliefert.