Desde 1999 o UK Post Office utiliza um software chamado Horizon, desenvolvido pela Fujitsu. Basicamente ele serve pra identificar movimentações financeiras "estranhas" feitas por funcionários. Ao todo mais de 700 funcionários foram processados por desvios acusados pelo software.
Tudo muito bom, não fosse o fato de que um bug no software apontava discrepâncias onde não havia nada de errado (falsos positivos), e isso levou 39 funcionários à prisão.
Levou mais de uma década pra essas prisões serem revertidas, muito porque "não era possível o software estar errado". Somou-se a isso o "custo" de assumir que pessoas poderiam estar presas injustamente e pronto, o problema foi criado.
Obviamente tá rolando um processo pra entender quem teve culpa. O que se apurou é que o Horizon não era nem remotamente confiável nos seus primeiros 10 anos de vida. Um desenvolvedor que participou do começo do projeto descreveu um cenário ainda bem comum hoje em dia:
"Central to his allegation is that Horizon’s Epos system was initially built with “no design documents, no test documents, no peer reviews, no code reviews, no coding standards”."
No fim das contas até o Primeiro-ministro Boris Johnson teve que se pronunciar:
Esse é um caso que gerou grandes consequências, mas todo software tem (não é "pode ter", é "tem") bugs que podem causar falsos positivos que a gente nem percebe.
Um exemplo que eu lembrei agora é do
GitHub - infinitered/nsfwjs: NSFW detection on the client-side via TensorFlow.js (uma lib em javascript que serve pra detectar conteúdo "impróprio" em imagens). Basicamente ele usa modelos pra classificar imagens em diferentes categorias e identificar se o conteúdo é pornográfico, sexy, neutro e etc.
Só que logo no início do projeto começaram a notar que fotos parecidas de homens e mulheres eram classificados de forma bem diferente:
Na verdade, basicamente qualquer foto de mulher era classificada como pornografia:
Nesse caso provavelmente foi problema de viés na elaboração dos modelos (que foram melhorados algumas semanas depois).
A moral da história é: o software que você desenvolve ou usa no dia-a-dia têm bugs, e alguns deles podem ser bem sérios. Sempre investigue o que for reportado pelos usuários e nunca parta do ponto que erros são causados por burrice deles :)
Algumas referências:
Bad software sent postal workers to jail, because no one wanted to admit it could be wrong - The VergeFujitsu bosses knew about Post Office Horizon IT flaws, says insiderGitHub - infinitered/nsfwjs: NSFW detection on the client-side via TensorFlow.js/issues/16
