Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas

Tecnologia
andre_santos  
em 06/05/21 13:56

Comentários

Último comentário 1º comentário do autor Só moderadores Só quem eu sigo Ordenar por gostei
ZorroCE  
em 06/05/2021 14:03
Excelente post. Muitos andam correndo atrás de desenvolver aplicações de inteligência computacional, em especial para reconhecimento de padrões, e não refletem sobre o custo de erros de generalização, sejam falsos positivos ou negativos.
; 14; ; 0;
0 '; 0';
Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas - #1 de 13
Alea Jacta Est  
em 06/05/2021 14:13
Esses "ainda" foram presos, lembrei do bug no software da Toyota, não sei se era no Lexus, que fez vítimas fatais. Um professor dava esse exemplo para mostrar a importância de testes.
; 8; ; 0;
0 '; 0';
Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas - #2 de 13
buttler  
em 06/05/2021 14:34
Alguém aqui falou outro dia sobre ações não computacionais, ou seja que não podem ser realizadas por um computador. Acho que é o Penrose que diz que a mente humana provavelmente também tem atividades não computacionais. 
Isso impõe limites a softwares de AI. Sei que o pessoal anda apanhando no aprendizado de veículos autônomos com identificação de imagens por exemplo de uma pessoa com mão levantada na beira da estrada. O ser humano em uma fração de segundo identifica se é um aceno, se é um sinal para parar, para pegar carona, etc. Já a AI por mais que seja ensinada com zilhoes de imagens ainda falha.
E a AI é muito mais exigida que o humano. Humanos vivem atropelando os outros, centenas ou milhares de vezes ao ano em uma grande cidade e tudo bem. O veículo autônomo irá atropelar muito menos, quase nada, mas dele é cobrado 100% de eficiência. 
; 12; ; 1;
0 '; 0';
Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas - #3 de 13
Riajes  
em 06/05/2021 14:40
Estranho é se basear 100% no apontamento da IA, não conheço a fundo mas pra me parece que o mais indicado é pegar as indicações do software e efetuar as investigações cabíveis. 
; 13; ; 0;
0 '; 0';
Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas - #4 de 13
Eric_Cartman  
em 06/05/2021 15:01
@Riajes Pensei a mesma coisa. No mínimo, "dar uma olhadinha" mais de perto.

O software apontou, cadeia neles? Como assim?
; 5; ; 0;
0 '; 0';
Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas - #5 de 13
ThiagoDV  
em 06/05/2021 15:39
Entra também nessa seara aquelas histórias de IA mandando pessoas pra cadeia erroneamente, inclusive com decisões racistas.

Artificial Intelligence Is Racist Yet Computer Algorithms Are Deciding Who Goes to Prison
; 5; ; 0;
0 '; 0';
Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas - #6 de 13
BBRC3  
em 06/05/2021 16:26
Despertou minha curiosidade, vou pesquisar o histórico disso.

Trabalhando com fraude corporativa desde 2017, acho muito estranho que acusações e prisões tenham ocorrido somente por meio de um apontamento de um sistema de análise de transação suspeita. Geralmente em um trabalho de investigação de fraude, quando não há nenhuma suspeita de pessoa específica, as ferramentas de análise estatística de transações servem somente para dar o direcionamento para onde o investigador irá aprofundar o teste documental. Não é regra que uma investigação obtenha provas conclusivas e finais do ato de fraude, principalmente no ambiente corporativo onde os responsáveis geralmente possuem conhecimento e educação para criar transações indevidas ou desvantajosas para a empresa e ocultá-las de forma a parecer erro humano ou erro de processo, por vezes até criando documentação manipulada que suporta a transação. É raro ver casos como a Volkswagen, onde haviam documentos e atas assinadas comprovando a fraude.
   
; 8; ; 0;
0 '; 0';
Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas - #7 de 13
andre_santos  
em 06/05/2021 18:06
; 0; ; 0;
0 '; 0';
Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas - #8 de 13
buttler  
em 06/05/2021 18:13
@BBRC3
A eficiência alemã. Antes de jogar um original fora, fazem uma cópia e arquivam.
; 2; ; 0;
0 '; 0';
Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas - #9 de 13
oxe  
em 06/05/2021 21:08
Isso é uma discussão interessante no Direito. Sempre que um Tribunal ou um teórico defende que o Direito não deve penetrar nos meandros de discussões de outras técnicas, como se elas fossem "neutras", há um enorme risco de esse tipo de problema, além de vários outros, ocorrer.

Por trás de qualquer conduta, há um agente humano, há uma decisão humana. Se há decisão, há necessariamente Ética e, se há Ética, há Direito. Não há neutralidade, as decisões do mundo de TI (como quaisquer outras) não são atávicas e inevitáveis e, ainda que houvesse neutralidade e ainda que fossem atávicas, a possibilidade de mau desenho do programa, como aí, sempre deverá ser levada em consideração.

Não é só, por exemplo, condenar uma pessoa ou recusar o crédito porque "o sistema mandou". Não existe "o sistema" como consciência absoluta, existe uma análise técnica mais ou menos automatizada que gera um resultado, de acordo com parâmetros que o operador final precisa entender para identificar seus limites e saber comparar os resultados com suas consequências no mundo real. A responsabilidade sempre é humana e a delegação cega do poder decisório sempre vai resultar em distorções e vieses.

Infelizmente, apesar disso tudo, essa delegação decisória é uma tendência crescente no mundo jurídico, que só concorre para a obsolescência do próprio Direito e, consequentemente, para a desestabilização sONcial. Acredito que boa parte disso nasce da própria ignorância dos juristas quanto aos limites, condições e consequências desse mundo da TI. Falta perspectiva.

Sobre esse assunto, existe uma palestra com aquele autor best-seller, o Harari, em que ele defende que no futuro os programadores precisarão cada vez mais ter uma base sólida em Ética, pois eles estarão gerando aplicativos que impactarão a vida de toda a humanidade e esses aplicativos devem ser pensados a partir de uma análise ética. É algo interessante para se refletir.
; 3; ; 0;
0 '; 0';
Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas - #10 de 13
Abra  
em 06/05/2021 23:26
Duas substituições que vão ajudar a ler essas notícias. Toda vez que você ler:
- IA/Inteligência Artificial troque automaticamente por Ferramenta Estatística
- Ciência de Dados/BigData troque por Estatística

Tu vai ver como fica mais fácil de compreender o que aconteceu. E, tira o ar de "infalibilidade" do sistema citado.
; 2; ; 0;
0 '; 0';
Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas - #11 de 13
Martins84  
em 07/05/2021 07:22
O autor Robert C Martin alerta que coisas como essa tendem a tornar nossa profissão altamente regulada. Software está em toda parte e hoje ele já está matando pessoas. 
; 2; ; 0;
0 '; 0';
Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas - #12 de 13
Abra  
em 08/05/2021 21:20
A irresponsabilidade com falso positivos é tamanha que chega chamar atenção de legisladores da União Europeia.

https://twitter.com/cesifoti/status/1385186073018572801?s=20
; 0; ; 0;
0 '; 0';
Sobre falso positivo e como um bug de software causou a prisão de 39 pessoas - #13 de 13

11 usuários comentaram este tópico.
Clique para ir para o primeiro comentário do usuário.

Ações Pesquisa Videos Livros Análise de Carteira Desconto FAQs Orientação Esportiva Ofertas e Serviços Bastter System Boletim IR Podcasts Revista Tecnologia - Ajuda Eu Assinar Ações Pesquisa Videos Livros Análise de Carteira Desconto FAQs Ofertas e Serviços Orientação Esportiva Boletim BS Podcasts IR Tecnologia Ajuda eu Revista Assinar Assinar

BastterZap