Uma ferramenta que utilizava inteligência artificial para automatizar a seleção de candidatos para empregos na Amazon enfrentou um problema significativo: preconceito contra mulheres. Criado em 2014, o sistema analisava currículos e atribuía uma classificação de 1 a 5 estrelas, semelhante aos produtos vendidos pela empresa.
A proposta era auxiliar o RH da Amazon na seleção rápida e eficiente dos melhores candidatos. No entanto, já no ano seguinte, a empresa descobriu que a ferramenta discriminava mulheres devido ao aprendizado baseado em currículos predominantemente masculinos dos últimos 10 anos, refletindo a predominância masculina na indústria de tecnologia.
Quando encontrava termos como "de mulheres" nos currículos, o sistema penalizava as candidatas, mesmo que a referência fosse a instituições femininas. A equipe de desenvolvimento, baseada na sede da Amazon em Edimburgo, só identificou o problema após a ferramenta estar em uso.
Os engenheiros treinaram o algoritmo com 500 modelos para reconhecer mais de 50 mil termos, mas os resultados foram tendenciosos e injustos. A Amazon tentou ajustar a ferramenta para corrigir as distorções, mas sem sucesso, levando ao desmantelamento da equipe responsável. A empresa afirma que a ferramenta nunca foi usada exclusivamente para decisões de contratação, mas apenas como recomendação.
Apesar das tentativas de aprimoramento, a Amazon criou uma nova equipe para desenvolver uma versão que priorize a diversidade. Satya Nadella, da Microsoft, acredita que a IA pode criar mais empregos, enquanto casos como este da Amazon alertam para a necessidade de supervisão humana constante para evitar injustiças baseadas em dados incorretos.
