O acidente de uma mulher erroneamente identificado como um ladrão do sistema de reconhecimento facial de um supermercado na Nova Zelândia, não estou surpreso. Quando a corrente Alimentos Ilha Norte anunciou a sua intenção de testar esta tecnologia para combater o crime nas lojas, especialistas em tecnologia e privacidade expressaram muitos receios. Em particular, foi destacado o risco de discriminação contra as mulheres Maori e as mulheres de cor. Medos muito certos, e reflexão necessária.
O contexto de uso dos supermercados: além dos algoritmos
O reconhecimento facial automatizado é frequentemente discutido em termos abstratos, como pura correspondência algorítmica de padrões, com ênfase na correção e precisão: ainda me lembro da ênfase do Lojas “pegar e levar” sem mais caixas. Estas são prioridades justamente importantes para sistemas que gerem dados biométricos e de segurança. Mas com um foco tão crucial nos resultados das decisões automatizadas, é fácil ignorar as preocupações sobre como essas decisões são aplicadas.
Os designers usam o termo “contexto de uso” para descrever as condições diárias de trabalho, atividades e objetivos de um produto. Com a tecnologia de reconhecimento facial nos supermercados, o contexto de utilização vai muito além das preocupações tradicionais de design, como ergonomia ou usabilidade. É necessário considerar como as notificações automatizadas de violação acionam respostas na loja, os protocolos para gerenciar essas respostas e o que acontece quando as coisas dão errado. Estes são mais do que apenas problemas de tecnologia ou dados. São problemas humanos e sociais.
Equilibre a precisão e o impacto dos erros
Investir na melhoria da precisão das previsões parece ser uma prioridade óbvia para os sistemas de reconhecimento facial. Mas isto precisa ser visto num contexto de uso mais amplo, onde os danos causados por um pequeno número de previsões incorretas superam as melhorias marginais de desempenho em outros lugares.
O erro do supermercado neozelandês é apenas uma pequena pérola numa série que pode estrangular esta tecnologia. E a resposta da empresa de supermercados de que se tratou de um “genuíno caso de erro humano” não aborda as questões mais profundas que envolvem esse uso de IA e sistemas automatizados. Estudos sugerem que os tomadores de decisão humanos podem herdar preconceitos das decisões de IA. Em situações de alto estresse e risco de violência, combine o reconhecimento facial automatizado com o julgamento humano improvisado é potencialmente perigoso.
Em vez de isolar e culpar trabalhadores individuais ou componentes tecnológicos como pontos únicos de falha, é necessário dar maior ênfase à tolerância a falhas em todo o sistema. Erros de IA e erros humanos não podem ser totalmente evitados. Os protocolos de segurança de IA com “humanos no circuito” precisam de salvaguardas mais cuidadosas que respeitem os direitos do cliente e protejam contra estereótipos.
Supermercado, rumo a uma cultura de vigilância?
O caso australiano é emblemático. Na Nova Zelândia, eles responderam ao crime no varejo com vigilância tecnológica aberta: câmeras corporais fornecidas aos funcionários (agora também adotadas pela rede Woolworths), rastreamento digital do movimento dos clientes nas lojas, travas automáticas nos carrinhos e portões de saída para impedir que as pessoas saíssem sem pagar .
Os supermercados podem ser apenas a vanguarda de uma mudança tecnológica na experiência de compra. Uma mudança terrível, que caminha para uma cultura de vigilância em que cada cliente é monitorado como um potencial ladrão. Isso me lembra a forma como a segurança aeroportuária global mudou desde o 11 de Setembro.
Um desafio de design centrado no ser humano
O Comissário de Privacidade da Nova Zelândia comentará em breve sobre o teste de reconhecimento facial da Foodstuffs. E este pronunciamento, acreditem, estou parafraseando Lorenz, é o clássico bater de asas de uma borboleta em uma parte do mundo que pode causar um tornado no outro lado do mundo.
O roubo e a violência são um problema urgente que os supermercados, tal como outras empresas, devem resolver. Mas agora devem demonstrar que os sistemas de vigilância digital são uma solução mais responsável, ética e eficaz do que possíveis abordagens alternativas. E isso significa reconhecer que a tecnologia requer um design centrado no ser humano. Para evitar abusos, para evitar preconceitos. Santos deuses, para evitar danos.
Se estas conjunturas não forem aproveitadas agora para orientar quadros e normas regulamentares, para informar o debate público sobre a utilização aceitável da IA e para apoiar o desenvolvimento de sistemas automatizados mais seguros, quando? O caso da Nova Zelândia é um alerta para todos aqueles que concebem e implementam sistemas de IA em contextos delicados como o retalho. Só colocando no centro o factor humano, com todas as suas complexidades e nuances, seremos capazes de desenvolver tecnologias que melhorem verdadeiramente a nossa sociedade, sem criar novas formas de discriminação e vigilância.
