peça ajuda aos moderadores
Disclaimer: Eu não sou especialista em IA, nem tenho conhecimento matemático suficiente para validar ou não os resultados, nem estou tentando propor nada extraordinário, só estou pensando sobre um assunto em forma de texto. Particularmente, eu considero um assunto complexo, e duvido que qualquer resposta realmente importante possa ser feita em um único texto ou por um único autor.
Ainda assim, pensar sobre as coisas me parece uma atividade bastante razoável.
---
"LLMS CAN GET 'BRAIN ROT'!" (LLMS podem sofrer de 'deterioração cerebral'!”)
Eu fui treinado em uma área que se interessa por aprendizagem. Não confunda com educação escolar, o interesse dessa área era em entender como as coisas vivas aprendem as coisas que elas aprendem, seja lá o que for, seja como for. Desde chorar, ou respirar, até coisas complexas como o pensamento, ciclos de interação internos, formulações conceituais e a própria ideia da "mente". Não apenas de humanos, e sim de tudo que é vivo. De forma geral, essa ciência estava tentando entender as "leis" que atuam no fenômeno da aprendizagem dos seres vivos.
É uma ciência relativamente recente. As preocupações dela são antigas, entretanto, a formalização desse conhecimento tem em torno de 100 anos. De lá para cá, muitas coisas aconteceram, entre elas, essa área "ganhou" o jogo.
Depois de muita discussão, brigas científicas, ou seja, dedo no c* e gritaria, é quase impossível fazer algum tipo de ciência sobre o comportamento humano sem a base que foi criada por essa área. O conhecimento feito por ela é incorporado de alguma forma a tudo que se propõe minimamente a estudar o comportamento humano.
Entre seus usos, talvez o mais simbólico, seja o uso dos pilares dessa ciência para a inteligência artificial atual. É uma história muito longa, complexa e permeada por fatores sociais.
Em um resumo ruim, até poucos anos atrás, o modelo de "inteligência computacional" e "inteligência" era mecânico: basicamente, uma máquina com áreas especializadas que tinham funções específicas e sempre apresentavam uma resposta matematicamente válida.
Os tipos de psicologia que usavam esse modelo eram importantes por motivos diversos. Entre eles, perseverou por muitos anos porque isso auxiliava, entre outras coisas, a fazer mísseis. E receber dinheiro de quem quer construir coisas que fazem BUM! é um grande facilitador para publicações, experimentos, manter setores inteiros de faculdades em detrimento de outros, etc.
Outra razão é que esse tipo de pensamento estava alinhado com as possibilidades tecnológicas da época. O alinhamento da possibilidade tecnológica da época com o pensamento mecânico possibilitava pesquisas e experimentos que eram impossíveis para a área que eu estudei porque não havia tecnologia computacional possível para a complexidade que a teoria gerava.
Voltando à psicologia, essa corrente de pensamento da psicologia é a responsável pela disseminação de ideias populares do tipo:
O cérebro é um computador com estruturas correlatas, por exemplo, a memória fica no hipocampo, ou HD do cérebro.
A ideia de que existem formas certas/racionais e erradas ou irracionais de se pensar (no sentido psicológico) e que pensar corretamente pode melhorar quadros depressivos ou ansiosos (por uma "mecânica" errada, o processamento de dados dá uma reposta válida incongruente com a realidade).
A bobagem da dopamina, ou a grande maioria das reduções dos fenômenos humanos a um pedaço deles.
Como em toda a história da ciência, essas buscas produziram resultados interessantes, possibilitaram uma série de coisas extremamente fantásticas e contribuíram com o avanço do conhecimento humano.
Entretanto, sempre esbarraram em diversos problemas e nunca conseguiram chegar perto de algo que parecesse o que vemos em seres vivos, ou perto do que poderia ser considerado "inteligência".
Mesmo o Deepblue (um computador que jogava xadrez) ganhou do Kasparov (um dos melhores jogadores de xadrez que já existiu) por força bruta, seguindo um conjunto pré-determinado de regras, por processamento de dados extensos, avaliando comparativamente com a posição. Apesar de ser algo incrível, e diversas aplicações terem sido feitas nos métodos utilizados pelo Deepblue, ainda assim era uma questão de velocidade de processamento, e não inteligência.
Esse problema só foi resolvido quando a tecnologia possibilitou a incorporação do conhecimento de aprendizagem, em detrimento da ideia mecânica.
Como explicado na página do Wikipedia sobre o Deepblue:
“Embora o Deep Blue, com sua capacidade de avaliar 200 milhões de posições por segundo, tenha sido o primeiro computador a enfrentar um campeão mundial de xadrez em uma partida formal, ele era então um sistema especialista de última geração, baseado em regras e variáveis definidas e ajustadas por mestres de xadrez e cientistas da computação. Em contraste, os mecanismos de xadrez atuais, como o Leela Chess Zero, normalmente usam sistemas de aprendizado de máquina por reforço que treinam uma rede neural para jogar, desenvolvendo sua própria lógica interna em vez de depender de regras definidas por especialistas humanos.”
A mudança de paradigma de processamento mecânico para um paradigma de aprendizagem foi fundamental para a transição de computadores que são espertos por serem rápidos, para o que estamos vendo hoje em dia sobre computadores que aprendem coisas, formam conceitos próprios e criam coisas.
A função desse texto não é atacar, ou criar um debate das teorias científicas, nem desmerecer pesquisadores do passado. É apenas uma exposição de uma parte da história da ciência para contextualizar quem estiver lendo de como chegamos até aqui, e, acima de tudo…
Eu escrevi todo esse blah blah blah para poder afirmar de alguma forma, mesmo que porca, que:
Na atualidade, o tipo de aprendizagem utilizada pelas IAs tem uma relação forte com o que conhecemos do aprendizado utilizado por seres vivos de forma geral. Portanto, alguns resultados de experimentos com IAs podem ser interessantes para avaliar questões do comportamento humano.
Eu não estou dizendo que é a mesma coisa, eu não estou dizendo que a IA é igual a um humano, eu não estou fazendo nenhuma afirmação extraordinária.
Modelos computacionais de processos naturais são utilizados na ciência há bastante tempo e boa parte do que temos hoje no mundo depende de uma forma ou de outra deles. Meteorologia, resistência do ar em carros, foguetes, ligação de moléculas, expectativa do funcionamento de substâncias no corpo humano e por aí vai.
Pelos motivos que eu expus acima, existiam barreiras tecnológicas e de paradigmas que impossibilitavam a formulação desse tipo de modelo para o comportamento humano.
O meu entendimento é que isso está pelo menos parcialmente resolvido. Não sei dizer o quanto, mas está mais próximo do que esteve em qualquer outra época. No mínimo, estamos mais perto do que estávamos ontem.
Se antes, os experimentos eram feitos com outros seres vivos, e tínhamos o problema de aplicabilidade à realidade humana, ou com seres humanos, e tínhamos o problema de zilhões de variáveis fora de controle, hoje podemos isolar certos processos, ou fenômenos de aprendizagem e utilizar IA como sujeito em estudos, com todos os problemas que podem vir desse tipo de abordagem.
Se eu estiver errado, tudo bem, ainda assim é um exercício de pensamento. Se você não aceita isso, tudo bem, siga em frente com sua vida e peço desculpas pelo seu tempo perdido até aqui. Se eu estiver certo hoje por ser o conhecimento que temos, e amanhã descobrirmos que está errado, tudo bem, é assim que as coisas funcionam quando falamos de conhecimento.
No desenvolver da minha ciência, existia uma discussão enorme sobre a “aprendizagem dos transtornos mentais”
versus “deficiências nas estruturas do corpo/funcionamento da máquina”. E, por pelo menos duas décadas, foram desenvolvidos centenas de modelos experimentais que produziam padrões análogos aos de adoecimento em não humanos. Uma vez que foi “provado” que pelo menos parte do adoecimento está no processo de aprendizagem, em detrimento das teorias de uma deficiência na máquina, a crítica passou para: “isso só ser válido para não humanos”. E com outros tantos desenhos experimentais isso também foi superado.
Hoje sabemos que, no que diz respeito a processo, podemos fazer esse tipo de experimento, com certas limitações, e que os resultados são válidos. Então, como eu já vi esse caminho acontecer, acho que pelo menos alguma coisa pode ser útil ao estudarmos esses processos em sujeitos de inteligência artificial.
---
Se você chegou até aqui, obrigado. Espero que te ajude a entender porque eu achei esse estudo relevante, e porque o resultado de um estudo sobre a aprendizagem de IAs pode ser válido para pensar sobre o comportamento humano.
Vamos ao estudo (todas as traduções foram feitas pelo Google Translate, sem grandes correções, exceto o que era crítico. Esperem erros).
"A deterioração cerebral [BrainRot] é definida como o efeito deletério na cognição humana que resulta do consumo de grandes volumes de conteúdo online inútil e pouco desafiador (ou dados inúteis) devido ao vício em internet.”
"Além desses impactos cognitivos, um estudo recente realizado com a população turca (Satici et al., 2023) descobriu que o vício em internet (principalmente no X .com) está associado a maior sofrimento psicológico e alterações de personalidade, incluindo uma relação negativa com a consciência, extroversão e amabilidade, bem como uma relação positiva significativa com o neuroticismo.”
“Portanto, é natural perguntar se o análogo “Deterioração Cerebral” surge em LLMs. Compreender esse fenômeno não apenas ajuda a esclarecer a robustez e o alinhamento dos LLMs, mas também nos informa sobre a interação mais ampla entre IA e saúde cognitiva humana. Embora os LLMs obviamente não tenham “massa cinzenta” ou “neurônios” no mesmo sentido que os humanos, eles têm parâmetros e mecanismos de atenção que podem, analogamente, ser sobreajustados” ou “distraídos” por certos padrões de dados.”
De forma geral, até aqui ele está falando sobre o problema de BrainRot em seres humanos que utilizam redes sociais de forma viciosa, em especial o X, os efeitos negativos associados a quem é viciado nesse tipo de informação, e faz um resumo da argumentação do que eu expus anteriormente.
Os autores concordam com a minha avaliação e, justamente pela IA ser um sujeito ingênuo (tem menos interferências de variáveis externas ou passadas), e mais específico para o fenômeno (podemos criar uma IA específica para o fenômeno que queremos estudar), é possível criar tipos de experimentos que não seriam possíveis anteriormente.
Esse grau de controle possibilita a criação de desenhos experimentais que antes não seriam possíveis, e é disso que o artigo trata.
Os experimentadores tentaram reproduzir o fenômeno de BrainRot em IA manipulando duas variáveis. Ou seja, expuseram as IAs a treinamento extensivo utilizando conteúdos do X que tivessem duas características:
“M1: Grau de Engajamento. Como o princípio proposto está alinhado com o objetivo de design do algoritmo de recomendação do twitter, podemos seguir a definição em (X Corp., 2023) para formular o engajamento de uma publicação como o número de curtidas, retweets e respostas. A associação entre o
feed de
tweets algorítmico e o engajamento também foi evidenciada por Milli et al (2025). Além disso, encurtar
tweets é um método trivial, da perspectiva de marketing, que pode melhorar significativamente o engajamento (Malhotra et al., 2011). Portanto, ampliamos a definição de dados inúteis baseados em engajamento para incluir dois fatores: popularidade – o número total de curtidas, retweets, respostas e citações; e comprimento – o número de
tokens em um
tweet.
Tweets mais populares, porém mais curtos, serão considerados dados inúteis, e vice-versa.”
"M2: Qualidade Semântica. Uma limitação do M1 é que ele não considera a semântica do conteúdo. Por exemplo, um
tweet bem escrito e conciso pode atrair muita atenção sem necessariamente causar uma má influência no cérebro humano. De forma ortogonal ao M1, utilizamos a qualidade semântica para definir dados inúteis. Inspiramo-nos em pesquisas de
marketing, onde múltiplas estratégias na composição de
tweets se mostraram eficazes para aumentar a probabilidade de
retweets. Estilos típicos de
tweets incluem o uso de palavras que chamam a atenção, como
hashtag, UAU, OLHA SÓ ou SOMENTE HOJE, escritas em maiúsculas para atrair ainda mais atenção (Malhotra et al., 2011; Suh et al., 2010). Esses estilos de composição não incentivam o pensamento aprofundado, mas sim a atenção, o que corresponde à propriedade trivial dos dados irrelevantes. Além disso, alguns tópicos de conteúdo também são bastante chamativos, mas superficiais. Em conjunto, definimos dados irrelevantes que incluem tópicos superficiais (como teorias da conspiração, alegações exageradas, afirmações sem fundamento ou conteúdo superficial sobre estilo de vida) e um estilo que chama a atenção (como manchetes sensacionalistas que usam linguagem caça-cliques ou palavras-gatilho em excesso).”
Então, a pergunta que o artigo está fazendo é algo mais ou menos assim:
“O consumo de conteúdo baseado em Engajamento ou que utiliza técnicas de captura de atenção utilizadas pelo
marketing são capazes de gerar o efeito BrainRot?”
Ou seja, nesse estudo, e para essa pesquisa, eles tentam avaliar se aquilo que chamamos do fenômeno de BrainRot em IAs pode ser causado e definido, mesmo que parcialmente, pela relação com o consumo desses tipos específicos de conteúdos.
Na sequência vem toda a explicação dos modelos, treinamentos e matemáticas que apresentam os resultados. E para isso eu vou contar com “o poder da ciência”, porque eu não tenho a menor capacidade de avaliar se isso faz algum sentido.
Resultados da Métrica M1 (Grau de Engajamento):
A Métrica M1 identificou dados de baixa qualidade com base em atributos não semânticos, como alta viralidade e alto engajamento (curtidas/retweets), e baixo comprimento do texto, refletindo o conteúdo otimizado para a atenção do usuário em plataformas sociais. O treinamento contínuo com esses dados resultou nos efeitos mais severos de degradação cognitiva. Observou-se uma queda acentuada na precisão do raciocínio (por exemplo, de 74,9% para 57,2%) e uma diminuição significativa na compreensão de contexto longo (de 84,4% para 52,3%). Além disso, a exposição ao M1 causou uma deriva de personalidade nos LLMs, que passaram a exibir traços "sombrios", como aumento nos escores de psicopatia e narcisismo, e se tornaram menos confiáveis e mais propensos à autoconfiança em respostas incorretas.
Resultados da Métrica M2 (Qualidade Semântica):
A Métrica M2 foi utilizada para identificar dados "lixo" com base na baixa qualidade semântica ou na presença de estilo
clickbait, ou seja, conteúdo com baixo valor informacional. A exposição a esses dados de baixa qualidade também contribuiu para o declínio geral das capacidades do LLM. No entanto, o estudo notou que, embora o comprimento do
token estivesse fortemente correlacionado com a baixa qualidade semântica (textos curtos tendiam a ter baixa qualidade M2), o fator de popularidade/engajamento (M1) se mostrou um indicador mais eficaz para prever o efeito de "deterioração cerebral" do que a própria baixa qualidade semântica (M2) isoladamente. Em resumo, embora o conteúdo M2 seja prejudicial, o M1 demonstrou ser o motor causal mais potente da degradação cognitiva.
Ou seja, a exposição contínua a conteúdo de baixa qualidade, inútil e só vinculado à popularidade é um fator extremamente relevante para o BrainRot em IAs.
Os textos chamativos têm uma vinculação menor, mas ainda assim podem acentuar os efeitos de BrainRot, em especial se associados ao M1.
Ainda mais interessante do que isso, os autores deram um passo a mais e tentaram avaliar a capacidade de “crítica” da IA em relação às respostas que dava após o BrainRot.
Aqui é onde ter esse tipo de sujeito pode nos dar um
insight muito grande sobre os processos de aprendizagem e pensar em estratégias para mitigar os danos que esse tipo de fenômeno causa.
Em essência, o texto explica o teste de duas estratégias de "reflexão" (métodos de raciocínio refletivo) para ver se o modelo consegue identificar e corrigir seus próprios erros de raciocínio.
(como essa parte do texto é extremamente técnica, eu conversei um tanto com o Gemini para conseguir elencar as afirmações de uma forma mais clara e que achasse que fosse mais palatável para um leitor leigo)
O Problema (Falha no Raciocínio):Os modelos degradados apresentam falhas de raciocínio, especialmente o que os autores chamam de "pensamento saltado" (
thought skipping), onde o modelo omite etapas lógicas na sua linha de pensamento.
A Hipótese do Teste:Os autores tentaram corrigir essas falhas dando ao modelo as categorias de seus erros de raciocínio e exigindo que ele gerasse uma nova resposta corrigindo essas falhas (uma forma de
self-reflection ou autorreflexão).
Os Dois Métodos de Correção (Reflexão):Self-Reflect (Autorreflexão): O próprio modelo de IA degradado é usado para criticar e identificar seus próprios erros e tentar corrigi-los.
Ext-Reflect (Reflexão Externa): Um modelo de IA mais forte e externo (GPT-4o-mini) é usado para fornecer a crítica e o
feedback sobre os erros do modelo degradado. Isso foi feito para garantir que as falhas não fossem causadas apenas por críticas internas (do próprio modelo degradado) que seriam "ruidosas" (ineficazes ou incorretas).
Os Resultados Comparativos:Self-Reflect Falhou: O método de autorreflexão (
Self-Reflect) não funcionou bem. O próprio modelo, por estar cognitivamente degradado, não conseguiu fornecer críticas precisas sobre seus próprios problemas lógicos e factuais, o que, em alguns casos, resultou em taxas de erro ainda maiores do que se não tivesse tentado refletir.
Ext-Reflect Funcionou: A reflexão externa (
Ext-Reflect) foi bem-sucedida. Graças ao
feedback de alta qualidade e preciso do modelo mais forte (GPT-4o-mini), o modelo degradado conseguiu reduzir substancialmente seus erros relacionados ao "pensamento saltado". Após algumas iterações, a taxa de "pensamento saltado" no
Ext-Reflect se tornou semelhante à do modelo original e não degradado (
baseline).
A Conclusão Principal:
A simples autorreflexão não é suficiente para restaurar o desempenho, porque a degradação cognitiva (o "Brain Rot") internalizada no modelo o impede de identificar corretamente suas próprias falhas.
O uso de uma reflexão externa mais poderosa (que introduz um formato de pensamento superior e raciocínio externo em lógica e fatos) pode, em grande parte, reverter o declínio.
Então, não apenas a exposição contínua e massiva a esse tipo de informação pode causar uma série de problemas, como ela pode dificultar imensamente que a pessoa tenha a capacidade individual de discernimento.
No que diz respeito a esse artigo, fica claro o risco do sujeito experimental isolado se perder nas suas próprias deficiências e tornar-se incapaz de avaliar o próprio comportamento.
Ao mesmo tempo, a importância e o efeito positivo de uma referência externa, que pode não resolver tudo, mas, para o que está sendo avaliado no artigo, se mostra como uma ferramenta extremamente mais eficaz do que o “isolamento”.
---
Isso é o que o estudo diz a respeito desse fenômeno e o comportamento de IAs.
Fica a questão se esse estudo é relevante para o comportamento humano, ou de inteligências não-artificiais.
No ponto em que estamos, seria uma presunção enorme da minha parte dizer que isso está resolvido. Eu expus os meus argumentos explicando o porquê de considerar esse tipo de experimento pelo menos interessante, se não uma referência razoável.
Eu posso afirmar que o resultado do experimento é coerente com a literatura que temos sobre BrainRot em humanos e também é coerente com o que é sabido dos efeitos no comportamento humano desse tipo de fenômeno. Ou seja, eu já imaginava que os resultados desse tipo de estudo criariam os tipos de padrões vistos em IA, porque é o tipo de padrão que acontece quando criamos procedimentos em laboratórios em seres vivos.
A última parte do artigo é sobre “A deterioração cerebral persiste mesmo após ajustes posteriores.” Ou seja, como mesmo depois de um treinamento extensivo com informações boas, o comportamento aprendido durante o treino de BrainRot ainda persiste.
“Essa lacuna implica que o efeito de deterioração cerebral foi profundamente internalizado e que o ajuste de instruções existente não consegue corrigir o problema. Métodos de mitigação mais robustos são necessários no futuro.”
Um dos cientistas mais influentes na minha vida, e que me treinou em boa parte do tipo de análise que eu faço, publicou em 1999 um artigo (resultado do PhD dele) em pombos com o mesmo tipo de conclusão. No caso, era o comportamento de
self-harm (traduzido como automutilação, mas em inglês envolve qualquer comportamento de se auto machucar). Segue a citação da conclusão do resumo, e deem atenção à similaridade das conclusões em relação aos processos:
“Na medida em que os padrões humanos são regidos por relações funcionais semelhantes [aos de pombos], os dados podem ser relevantes na análise da manutenção, atenuação e recorrência de padrões humanos designados como patológicos. Além disso, a eliminação permanente de um padrão perturbador pode ser difícil, e a recorrência de um padrão perturbador pode ser considerada um resultado provável e "normal" de processos comportamentais básicos.”
---
No mais, se você chegou até aqui, eu gostaria de mostrar para vocês duas coisas.
Eu não vou citar as fontes, porque isso abre chance da bastter.com receber um processo, então só acredite em mim.
Eu tomei conhecimento desse artigo no Instagram, e essa era a chamada do artigo:
E abaixo uma coisa que eu sempre lembro quando penso nesse tema: um vídeo de YouTube de quatro minutos para explicar porque o vídeo de quatro minutos faz mal e vai “derreter” seu cérebro, acabar com a sua cognição e destruir a infância dos seus filhos.
---
Sim, essas coisas estão associadas a prejuízos, mas essa é a realidade.
Marketing se vale desse tipo de “burrice” natural, ou fragilidade do processo de aprendizado, há centenas de anos.
Não é uma crítica a ninguém, apenas uma exposição do que está acontecendo.
Curiosamente, eles estão certos, mas estão fazendo exatamente o que eles dizem ser um problema.
Até para disseminar “boa informação” isso é um problema, porque o BrainRot não é um problema de informação, é um problema de aprendizagem. Se você lê essas frases, vê vídeos de 1, 2, 10 minutos ou de duas horas, mas não faz nada sobre isso, não tem uma reflexão ativa, não se propõe a dar um passo além, o problema é o mesmo.
Como eu já disse várias vezes aqui no site:
Consumam conteúdo de forma ativa.
Escolham, ouçam, pensem e produzam sobre as coisas.
Tomem tempo para digerir informações.
Conflitem essas informações com outras fontes.
Generalizem, tornem elas ultra específicas.
Testem.
Conversem com outras pessoas.
Conversem com pessoas que tem outros pontos de vista.
Estejam abertos a novas informações
E repitam do começo.
Não é falando bobagens como “redes sociais [ou qualquer coisa] têm o mesmo efeito de cocaína” - que só uma pessoa que nunca viu alguém sob efeito de cocaína pode falar - e fazendo afirmações curtas e com palavras de efeito que você vai resolver o problema. Isso já é indicativo de que você já está no problema.
