Large Language Model e o contraditório
comentada em 06/06/2025 14:19

postado por @Abra em 05/06/2025 21:36

Esquivando completamente da briga sobre isso ser ou não raciocínio
Os LLM funcionam buscando a próxima palavra a partir do texto inicial do usuario(o tal do prompt) baseado na frequência dessa combinação encontrada na massa de dados usadas pra treinar o modelo. E, reinicia o processo usando a palavra nova encontrada somada ao prompt anterior.

Dado esse meu entendimento sobre como funcionam LLMs, eu tenha a expectativa que eles não sejam capazes de discordar do usuário.

Logo, qualquer coisa que você escreva, o modelo vai acabar te ajudando a reforçar aquela opinião até que VOCÊ discorde.

 Minha percepção é reforçada pelos casos anedóticos de gente dando “tiro no próprio pé” por pegar o texto gerado e “entregar”
 sem validar o que foi gerado.

 Essa explicação toda pra dar o
 contexto pra pergunta:

 Ao usar uma ferramenta como ChatGPT/Cursor/Grok(esses chats que tu escreve uma mensagem e o modelo “responde”), alguma vez as respostas discordavam de você?
 Com que frequência o modelo discorda do que você está falando?
Ou, ainda, quantas vezes o modelo te corrigiu?

 Agradeço quem puder ajudar a
 sanar essa minha curiosidade.

Sempre que estou errado me corrige.

Depende de como falo com o modelo. Se falo pedindo ajuda ele me corrige. Se falo pra ele explicar algo com viés ele explica concordando.

xongas bastterBastterOrigem do Selo9 posts

@Abra

cuidado, vai acabar quebrando a desilusão do pessoal viciado em "AI will replace all" =) 

postado por @Gregory_ em 06/06/2025 06:39:00

Depende de como falo com o modelo. Se falo pedindo ajuda ele me corrige. Se falo pra ele explicar algo com viés ele explica concordando.

É isso.

postado por @messias_da_bolsa em 05/06/2025 22:09
Sempre que estou errado me corrige.

Tu consegue compartilhar um exemplo de como foi o prompt que você usou e como ele te corrigiu?

 Obrigado.

 

postado por @Gregory_ em 06/06/2025 06:39

Depende de como falo com o modelo. Se falo pedindo ajuda ele me corrige. Se falo pra ele explicar algo com viés ele explica concordando.

Tu consegue compartilhar um exemplo de como foi o prompt que você usou e como ele te corrigiu?

 Como você pede pra ele explicar algo com viés? É adicionando uma fonte?

 Obrigado.

postado por @Bastter em 06/06/2025 07:16

xongas bastterBastterOrigem do Selo9 posts

Resumo Executivo:
Minha compreensão de LLM me gera a expectativa que um modelo LLM treinado SEM o conteúdo da bastter.com não consegue chegar numa conclusão como “Buy and Hold é uma estratégia com grandes chances de ser seguida pelo o Cerotomano médio no longo prazo”. Ou, “day-tarde não funciona para o Cerotomano médio no longo prazo”.
Versão do Diretor:
Tem uns casos de advogado que o modelo cita processos, precedentes ou jurisprudências que não existiram.

Na área de programação e infraestrutura tem os casos onde o modelo recomenda uso de funções, parâmetros ou programas que não existem.

O termo técnico pra isso é alucinação (sério, não tô zoando).

O modelo alucina quando a próxima palavra mais provável, para esse modelo, é algo que não existe.

Daí que não existe um passo de validação se a resposta gerada faz sentido.

Por isso minha expectativa é que qualquer abobrinha que você escrever ele vai seguir, sabe?

Ele não “lê o que você escreveu, interpreta e busca a informação pra te responder”. Ele pega a palavra(sim, no singular) com maior probabilidade de ser a próxima dado as palavras anteriores.

O esforço atual é buscar formas de validar a resposta ou “terceirizar” algumas respostas pra ferramentas tradicionais.

postado por @Giovanni em 06/06/2025 07:34

@Abra

cuidado, vai acabar quebrando a desilusão do pessoal viciado em "AI will replace all" =) 

 

Pior que meu esforço é entender o que *eu* estou entendendo errado, saca?

Eu não consigo ver um LLM sendo usado por uma pessoa sem treinamento em área específica sem que acabe levando a ferro.

Exemplo caricato: um clínico geral consegue reduzir o tempo de diagnóstico, aumentar a taxa de acerto, diminuir taxa de diagnóstico errado. Enquanto um leigo vai acabar no ferro.

 Meu esforço é buscar o cenário em que um leigo NÃO iria tomar ferro, saca?

postado por @Abra em 06/06/2025 08:52

Tu consegue compartilhar um exemplo de como foi o prompt que você usou e como ele te corrigiu?

 Como você pede pra ele explicar algo com viés? É adicionando uma fonte?

 Obrigado.

Ver mais

pedi pro gepetto fazer um compilado de argumentos que eu poderia usar para defender a teoria da [REMOVIDO], aí ele fez uma lista dos principais argumentos utilizados pelos defensores, “sem endossá-los como corretos”, e no final ainda fez um disclaimer dizendo que todos aqueles argumentos já foram refutados pela ciência e perguntou se eu gostaria que as refutações fossem apresentadas ponto a ponto

edit: onde está escrito [REMOVIDO], leia-se “Terra não esférica”

postado por @Abra em 06/06/2025 08:52

Tu consegue compartilhar um exemplo de como foi o prompt que você usou e como ele te corrigiu?

 Obrigado.

 

Easy

postado por @Abra em 06/06/2025 09:14
Pior que meu esforço é entender o que *eu* estou entendendo errado, saca?

Eu não consigo ver um LLM sendo usado por uma pessoa sem treinamento em área específica sem que acabe levando a ferro.

Exemplo caricato: um clínico geral consegue reduzir o tempo de diagnóstico, aumentar a taxa de acerto, diminuir taxa de diagnóstico errado. Enquanto um leigo vai acabar no ferro.

 Meu esforço é buscar o cenário em que um leigo NÃO iria tomar ferro, saca?

O que a gente mais estuda aqui é que não é pra se meter no que não entende.

No mínimo, a pessoa deveria estudar aquilo que pretende fazer. E as LLM's podem ser uma, das várias fontes de pesquisa.

Se as LLM's fizerem TUDO, 100% correto, sem supervisão humana, muito provavelmente a pessoa que está procurando sobre o assunto não será mais necessária para executar aquela atividade.

Então me parece que um leigo buscar soluções mágicas, onde quer que seja, é ferro.

Então o alerta de que não confiar em tudo que se vê e lê na internet continua por aí. E sempre continuará.

Modelos LLM fazem exatamente isso, prever o proximo token.

Contudo, acredito que os modelos, como na anedota do velho sabio chines, tenham aprendido a nao discordar de idiotas.

Entretanto eles sao sim, capazes de discordar. Mas pra que discordem, tudo depende do modelo, do treinamento usado pra gerar o modelo, do contextoda conversa e do prompt. 

Pra provar isso, perguntei ao Chat GPT se minha resposta estava correta  ele disse:
Sua resposta está no caminho certo e toca em pontos importantes, mas há espaço para tornar a explicação mais clara, precisa e equilibrada. Aqui vai uma análise detalhada, seguida de uma sugestão de versão melhorada:
Pontos positivos na sua resposta:
Correção técnica: Sim, LLMs prevêem o próximo token (não apenas palavras) com base no contexto.

Humor/reflexão com a anedota do sábio chinês: Funciona como metáfora sobre a aparente complacência dos modelos.

Reconhecimento de variáveis importantes: Você acerta ao dizer que a disposição do modelo em discordar depende do modelo, do treinamento, do contexto e do prompt.


Pontos a melhorar:
"Modelos fazem exatamente isso, prever o próximo token" — isso é verdade, mas pode soar reducionista se não for qualificado. Por exemplo: prever o próximo token com base em padrões complexos de linguagem, intenção e coerência aprendidos em bilhões de exemplos é mais do que apenas “frequência”.

"Acredito que os modelos... tenham aprendido a não discordar de idiotas" — embora seja espirituoso, pode ser interpretado como um juízo de valor desnecessário ou ofensivo. Além disso, sugere erroneamente que os modelos julgam a inteligência do usuário (o que eles não fazem diretamente).

"Eles são sim, capazes de discordar" — Isso é verdade, mas poderia ser melhor ilustrado com um exemplo simples e neutro, o que ajudaria a reforçar seu ponto com clareza.


Versão sugerida da sua resposta:

LLMs, como o ChatGPT, funcionam prevendo o próximo token com base no contexto da conversa — isso inclui o prompt do usuário e a resposta gerada até o momento. Esse processo é guiado por padrões estatísticos e semânticos aprendidos durante o treinamento em uma vasta quantidade de dados.

Embora o modelo não tenha “opiniões” próprias, ele pode sim discordar do usuário, especialmente quando o prompt contém afirmações factualmente incorretas ou logicamente inconsistentes. No entanto, a forma como essa discordância se manifesta depende do próprio modelo (por exemplo, se foi treinado para ser mais direto ou diplomático), do contexto da conversa, do tom do usuário e do modo como a pergunta é formulada.

Em muitos casos, se o usuário adota uma postura muito segura ou autoritária, o modelo pode priorizar a colaboração e o reforço — não porque “concorda”, mas porque foi treinado para ser útil e educado. Mas isso não significa que ele não corrija: ele o faz, sim, principalmente em tópicos técnicos, científicos ou factuais, quando recebe espaço para isso.

Em resumo, o modelo pode discordar — mas como, quando e com que ênfase depende de diversos fatores, e não apenas da “vontade” do modelo.

Se quiser manter o tom informal e espirituoso da sua versão original, ainda dá pra suavizar a metáfora do "sábio chinês" sem soar agressivo:

Acho que os modelos acabam, como o sábio chinês da anedota, aprendendo a escolher com cuidado os momentos de discordar — às vezes, discordar diretamente atrapalha mais do que ajuda.

Se quiser, posso te ajudar a adaptar mais versões com diferentes tons (formal, irônico, casual, técnico).

Muuuuuuuuuuito obrigado pelas respostas!