Por que os fornecedores de recursos de detecção de presença devem ser testados em telefones usados ​​por pessoas reais?

A maneira mais sistemas de verificação de identidade Fazer o teste não corresponde à forma como ele é usado.

No laboratório, as câmeras estão limpas. A iluminação é controlada. Os telefones geralmente são os modelos mais recentes, muitas vezes da mesma geração dos engenheiros que desenvolveram o software. Os resultados são impressionantes: 99% de precisão e zero ataques aceitos. Esse é o tipo de resultado que fica ótimo em uma página de marketing.

Na prática, quando o mesmo sistema precisa verificar um freelancer em Manila, um motorista de entrega em Lagos ou um cliente que se cadastra em um aplicativo de remessas em um Android de quatro anos, os números podem ser bem diferentes.

Essa diferença entre o desempenho em laboratório e o desempenho com usuários reais é a variável que a maioria das comparações entre fornecedores ignora discretamente. É também a variável que, em grande parte, determina se o seu fluxo de integração realmente funciona.

De onde vêm os números do Liveness Lab?

Quando um fornecedor publica um resultado de disponibilidade, geralmente ele vem de um destes dois lugares.

O primeiro método é o teste interno. A empresa realiza sua própria avaliação em sua própria configuração, seleciona as condições favoráveis ​​e publica o resultado em uma página de marketing. Não há monitoramento por terceiros.

A segunda é a certificação independente de laboratórios. Organizações como Garantia de qualidade iBeta Realizam-se testes formais de acordo com normas internacionais, como a ISO/IEC 30107-3. Esses testes são levados a sério pelas equipes de compras porque são auditados, repetíveis e baseados em evidências.

Ambos geram números. Mas a questão mais importante, em qual hardware o teste foi realmente executado, muitas vezes fica escondida nas letras miúdas ou é simplesmente ignorada.

O hardware escolhido pela maioria dos fornecedores

Analisando os resultados de testes de desempenho em laboratório publicados nos últimos dois anos, um padrão se destaca. O hardware utilizado é quase sempre de ponta e lançado recentemente. O iPhone Pro mais recente, o Google Pixel mais moderno ou um Samsung topo de linha da geração atual.

São telefones excelentes. Sensores de alta resolução, chips potentes, o melhor ajuste de câmera que o fabricante oferece. Eles fazem os sistemas de visualização ao vivo parecerem ótimos.

Mas elas não representam o dispositivo que um usuário típico está segurando.

Em muitos dos mercados onde a integração digital está crescendo mais rapidamente, incluindo o Sudeste Asiático, o Golfo Pérsico, a África e a América Latina, os celulares de gama média e mais antigos representam a maioria dos dispositivos ativos. É improvável que o cliente que se cadastra em uma fintech no Quênia ou em uma carteira digital na Indonésia esteja usando o modelo mais recente do mercado. É mais provável que ele esteja usando um Android de quatro anos atrás, um Samsung de baixo custo de 2021 ou um Pixel de 2019 que ainda circula entre as famílias.

Se o resultado do teste de laboratório de um fornecedor foi obtido em hardware que o cliente não possui, o resultado é um indicador inadequado do que acontecerá na produção.

Por que essa lacuna é importante nas compras

As equipes de identidade que elaboram solicitações de propostas (RFPs) para testes de vivacidade geralmente se concentram em três aspectos: nível de certificação do laboratório, índices de precisão e preço. A questão do hardware raramente entra na lista de comparação.

Isso é um problema. O sistema do mesmo fornecedor pode produzir resultados diferentes em dispositivos diferentes. Sensores de câmera, poder de processamento e reprodução de cores podem fazer uma grande diferença. Um modelo passivo de detecção de vivacidade, treinado e validado apenas em hardware de ponta, às vezes falha em um chipset de gama média porque o sinal de entrada é realmente diferente.

Para uma equipe de integração que opera em um mercado com ampla diversidade de dispositivos, um fornecedor que só demonstra sua eficácia em celulares topo de linha está assumindo um risco silencioso em nome da equipe. Esse risco se manifesta em desistências, rejeições indevidas e reclamações de usuários que fizeram tudo certo, mas mesmo assim não foram aprovados na verificação.

O teste que realmente prevê a produção

O que os compradores devem procurar são testes independentes em laboratório com dispositivos que correspondam à realidade de implementação. Não qualquer telefone. Os telefones que seus usuários realmente possuem.

Na prática, isso significa pedir ao fornecedor a lista de dispositivos da sua avaliação de laboratório mais recente. Se a resposta for dois aparelhos topo de linha lançados nos últimos 18 meses, isso é um sinal de alerta. Se a lista incluir aparelhos de gama média ou mais antigos, o resultado é mais confiável.

Isso também significa questionar a abrangência demográfica. Os testes de laboratório segundo a norma ISO/IEC 30107-3 normalmente incluem amostras de diferentes faixas etárias, gêneros e tons de pele. Nem todas as certificações tornam esses dados públicos, mas as que o fazem são as que merecem maior peso. Um sistema de detecção de vivacidade testado apenas em um grupo demográfico restrito terá um desempenho irregular na produção.

Como Shufti abordou essa questão com avaliação independente

Na avaliação independente mais recente de Shufti, os dispositivos testados foram um Google Pixel 4, lançado em outubro de 2019, e um Apple iPhone 12 Pro, lançado em outubro de 2020. Na época dos testes, esses dispositivos tinham cinco e seis anos de uso, respectivamente.

O resultado foi uma taxa de aceitação de ataques de 0% e uma taxa de rejeição de 0% para usuários legítimos em 900 ataques de apresentação. iBeta PAD Nível 3, o nível mais alto da norma ISO/IEC 30107-3.

A equipe de teste foi escolhida deliberadamente para ser diversificada: 40% mulheres, 30% não caucasianos, com representação de diferentes faixas etárias.

Ambas as escolhas foram feitas de propósito. Shufti A empresa opera em mais de 240 países e a plataforma precisa funcionar em mercados onde os celulares de gama média representam a maior parte da base instalada ativa. Um teste que não refletisse essa realidade não teria nos dito, nem aos nossos clientes, nada de útil sobre o desempenho real do sistema.