Bloomberg Opinion — Em 2018, Pete Fussey, um professor de sociologia da Universidade de Essex, estava estudando como a polícia em Londres usava sistemas de reconhecimento facial para procurar suspeitos nas ruas. Nos dois anos seguintes, ele acompanhou policiais em suas viaturas enquanto vigiavam diferentes partes da cidade, usando câmeras montadas e software de reconhecimento facial.
Fussey fez duas constatações importantes nessas viagens, divulgadas em um estudo de 2019. Primeiro, o sistema de reconhecimento facial era terrivelmente impreciso. Ao longo de todas as 42 combinações geradas por computador que ele realizou nas seis viagens que realizou, apenas oito – ou 19% – revelaram-se corretas.
Em segundo lugar, e mais perturbador, foi que na maioria das vezes, os policiais pressupunham que o sistema de reconhecimento facial estava provavelmente correto. “Lembro que as pessoas diziam: ‘se não temos certeza, devemos apenas pressupor que está correto”, diz ele. Fussey chamou o fenômeno de “deferência ao algoritmo”.
Esta deferência é um problema, e não é exclusivo da polícia.
Na área de educação, a ProctorU vende software que monitora os alunos que fazem provas em seus computadores de casa e usa algoritmos de machine learning para procurar sinais de trapaça, como gestos suspeitos, leitura de anotações ou detecção de outro rosto na sala. A empresa do estado americano do Alabama conduziu recentemente uma investigação sobre como as faculdades estavam usando seu software de IA. Ela constatou que apenas 11% das provas marcadas por sua IA como suspeitas foram verificadas pela escola ou pela autoridade que aplicou as provas.
Isto ocorreu apesar do fato de que esse software poderia estar errado às vezes, segundo a empresa. Por exemplo, ele poderia marcar um aluno como suspeito se ele estivesse esfregando os olhos ou se houvesse um som incomum no fundo, como um cão latindo. Em fevereiro, uma adolescente que estava fazendo uma prova remotamente foi erroneamente acusada de trapacear por um fornecedor concorrente, porque ela olhou para baixo para pensar durante a prova, de acordo com um relatório do New York Times.
Enquanto isso, na área de recrutamento, quase todas as empresas da Fortune 500 usam software de filtragem de currículos para analisar o intenso fluxo de candidatos que recebem todos os dias. Mas um estudo recente da Harvard Business School constatou que milhões de candidatos qualificados estavam sendo rejeitados na primeira etapa do processo porque não preenchiam os critérios estabelecidos pelo software.
O que une estes exemplos é a falibilidade da inteligência artificial. Esses sistemas têm mecanismos engenhosos – normalmente uma rede neural vagamente inspirada pelo funcionamento do cérebro humano – mas também cometem erros, que muitas vezes só se revelam nas mãos dos clientes.
As empresas que vendem sistemas de IA são notórias por apresentarem índices de precisão nos anos 90, sem mencionar que os dados eram aferidos em ambientes controlados, não na realidade cotidiana. No ano passado, por exemplo, um estudo da Nature analisou dezenas de modelos de IA que afirmavam detectar covid-19 em varreduras e que não puderam ser usado em hospitais por causa das falhas em sua metodologia e modelos.
A resposta não é deixar de usar os sistemas de IA, mas contratar mais humanos com conhecimentos especiais para observá-los. Em outras palavras, colocar parte do excesso de confiança que depositamos na IA nos humanos, e reorientar o foco para um híbrido de humanos e automação (para leigos, isso é às vezes chamado de “inteligência aumentada”).
Algumas empresas já estão contratando mais especialistas que se sentem confortáveis trabalhando com software e também contam com a experiência na indústria em que o software atua. No caso da polícia que usa sistemas de reconhecimento facial, esses especialistas deveriam, idealmente, ser pessoas com habilidade para reconhecer rostos, também conhecidos como “super reconhecedores”, e provavelmente deveriam estar presentes nas viaturas e nas operações.
A ProctorU, do Alabama, fez uma mudança dramática e passou a confiar nos monitores humanos. Depois de realizar sua análise interna, a empresa disse que deixaria de vender produtos estritamente de IA e ofereceria apenas serviços monitorados, que dependem de cerca de 1,3 mil funcionários para verificar as decisões do software.
“Ainda acreditamos na tecnologia”, disse Jarrod Morgan, fundador da ProctorU, “mas fazer com que o humano seja completamente removido do processo nunca foi nossa intenção. Quando percebemos que isso estava acontecendo, tomamos medidas bastante drásticas”.
As empresas que usam AI precisam se lembrar dos possíveis erros. As pessoas precisam ouvir que não é provável que a máquina vai cometer erros – é uma certeza, segundo Dudley Nevill-Spencer, empresário britânico cuja agência de marketing Live & Breathe vende o acesso a um sistema de IA para estudar os consumidores.
Nevill-Spencer disse em uma recente discussão no Twitter que tinha 10 pessoas na equipe como especialistas de domínio, cuja maioria é treinada para desempenhar um papel híbrido entre treinar um sistema de IA e entender o setor em que atua. “É a única maneira de entender se a máquina está realmente sendo eficaz ou não”, disse ele.
De modo geral, não podemos acabar a deferência das pessoas aos algoritmos. Há muito burburinho sobre as qualidades transformadoras da IA. Mas o risco de confiar demasiadamente nessa tecnologia é que, ao longo do tempo, fica mais difícil diminuir essa confiança. Tudo bem quando a aposta não é alta e quando o software é bastante preciso – como quando utilizamos o Google Maps em uma viagem. O problema é no uso de IA não comprovada em circunstâncias que envolvem sérias consequências, como policiamento, captura de trapaceiros e recrutamento.
Humanos qualificados precisam estar envolvidos, caso contrário as máquinas continuarão cometendo erros, e nós pagaremos o preço.
Esta coluna não reflete necessariamente a opinião do conselho editorial ou da Bloomberg LP e de seus proprietários.
Parmy Olson é colunista da Bloomberg Opinion e cobre a área de tecnologia. Já escreveu para o Wall Street Journal e a Forbes e é autora de “We Are Anonymous”.
--Este texto foi traduzido por Bianca Carlos, localization specialist da Bloomberg Línea.
Veja mais em Bloomberg.com
Leia também
Um milhão de bolsas, carteira digital e ESG: o plano do Google na América Latina
Inflação nos EUA surpreende e mercado já prevê 3 altas de 0,50 ponto do Fed
© 2022 Bloomberg L.P.
