Rode seu próprio chatGPT no seu computador!

Tecnologia
Giovanni  
em 19/01/24 11:24
Nível no Race: Profissa do Bastter Race
ver comentários do moderador

Comentários

Último comentário 1º comentário do autor Só moderadores Só os meus Só quem eu sigo Ordenar por gostei
Giovanni 
em 19/01/2024 11:25
Nível no Race: Profissa do Bastter Race
Ao abrir o programa, é só escolher e baixar um dos diversos modelos pré-treinados

Rode seu próprio chatGPT no seu computador! - #1 de 16
Giovanni 
em 19/01/2024 11:27
Nível no Race: Profissa do Bastter Race
rodando localmente

1 - faça a pergunta
2 - abra o gerenciador de tarefas e veja sua cpu/GPU pegando fogo




pronto, agora é só ir testando os modelos e ver qual te agrada/atende seu case, e se tiver curiosidade, aprender a treiná-los!
Rode seu próprio chatGPT no seu computador! - #2 de 16
qsxg  180º
em 19/01/2024 11:48
Nível no Race: Tá ficando maluco igual o Bastter
Tem muita diferença entre usar um chatgpt web e um instalado no pc? Nas questões de qualidade de resposta, velocidade de resposta, etc?
Rode seu próprio chatGPT no seu computador! - #3 de 16
oxe  1º
em 19/01/2024 11:58
Bem legal, chegar em casa vou testar. Pelo que entendi, eles basicamente usam a API da OpenAI, né? Não é um modelo próprio deles, ou é?
Rode seu próprio chatGPT no seu computador! - #4 de 16
oxe  1º
em 19/01/2024 11:59
A propósito, no final dessa lista aqui tem algumas ferramentas open source interessantes:

Open Source AI Projects and Tools to Try in 2023

Olha essa:

Rode seu próprio chatGPT no seu computador! - #5 de 16
Giovanni 
em 19/01/2024 12:00
Nível no Race: Profissa do Bastter Race

postado por @qsxg em 19/01/2024 11:48:48

Tem muita diferença entre usar um chatgpt web e um instalado no pc? Nas questões de qualidade de resposta, velocidade de resposta, etc?

Tem, vc vai usar outros modelos e não necessariamente o da OPENAI
Vamos supor q você queira treinar um bot para chamar seu cliente de burro, o chatGPT mesmo pago provavelmente não faria por causa das diretrizes da openAI; mas com seu modelo de chatbot você treina como quiser (e também lida com as consequências)

gpt=\= chatGpt
Gpt é um tipo de AI
ChatGPT é um de gpt treinada pela openAI

Generative pre-trained transformer - Wikipedia
postado por @oxe em 19/01/2024 11:58:36

Bem legal, chegar em casa vou testar. Pelo que entendi, eles basicamente usam a API da OpenAI, né? Não é um modelo próprio deles, ou é?

Da para usar o da openAI com a API, mas dá para escolher um monte de outros modelos free
Rode seu próprio chatGPT no seu computador! - #6 de 16
rui77  180º
em 19/01/2024 12:19
Nível no Race: Fera neném


postado por @Giovanni em 19/01/2024 12:00:54

Da para usar o da openAI com a API, mas dá para escolher um monte de outros modelos free

É a melhor solução para a Bastter então kkkk.  O patrão agora só vai ficar jogando futvolei e a IA dando voadora.
Rode seu próprio chatGPT no seu computador! - #7 de 16
BrandonLee  180º
em 19/01/2024 12:25
Nível no Race: Fera neném 


postado por @Giovanni em 19/01/2024 11:27

rodando localmente

1 - faça a pergunta
2 - abra o gerenciador de tarefas e veja sua cpu/GPU pegando fogo




pronto, agora é só ir testando os modelos e ver qual te agrada/atende seu case, e se tiver curiosidade, aprender a treiná-los!



Ver mais
Rode seu próprio chatGPT no seu computador! - #8 de 16
buy_and_nemo  180º
em 19/01/2024 13:00
Nível no Race: Fera neném


postado por @Giovanni em 19/01/2024 11:25

Ao abrir o programa, é só escolher e baixar um dos diversos modelos pré-treinados





o Falcon é um modelo open source, mas o GPT ele vai enviar para a OpenAI da mesma forma

Existem vários tamanhos de modelos, mas com CPU vc só vai conseguir rodar os menores. Eu fiz testes locais aqui e rodando na API a mesma chamada leva 10 segundos, no CPU 18 minutos e na minha 3070 30 segundos

So pra efeito de comparação, o Falcon da lista tem 7B parâmetros, o GPT 3.5 tem 170 B e o GPT 4 estimados 1.7 Trilhao

O falcon vai funcionar bem pra tarefas que requerem menos brain power. Mais pra responder baseado em contexto do que fazer “pensamento” em si como o GPT faz 
Rode seu próprio chatGPT no seu computador! - #9 de 16
buy_and_nemo  180º
em 19/01/2024 13:18
Nível no Race: Fera neném
Eu vou testar essa ferramenta. Pra testar local eu vinha usando o lmstudio.ai 
Rode seu próprio chatGPT no seu computador! - #10 de 16
oxe  1º
em 19/01/2024 13:36
Pra testar vários modelos, pode usar esse site aqui:

https://chat.lmsys.org/

Vai em Direct Chat e escolhe o modelo que quer testar.
Rode seu próprio chatGPT no seu computador! - #11 de 16
GhostRider28 
em 19/01/2024 14:52
Nível no Race: Intermediário


postado por @rui77 em 19/01/2024 12:19
É a melhor solução para a Bastter então kkkk.  O patrão agora só vai ficar jogando futvolei e a IA dando voadora.

Rode seu próprio chatGPT no seu computador! - #12 de 16
PMHM  180º
em 19/01/2024 15:01
Nível no Race: Tá ficando maluco igual o Bastter
Obrigado, Giovanni e demais... Isso veio em boa hora para mim!

Entre ontem e hoje estava justamente com a ideia de experimentar usar um LLM para me ajudar a criar cartões de estudo para o Anki (flashcards)... Tem vários estudos que sugerem que a abordagem da repetição espaçada é uma das melhores para aprender, mas eu nunca levei para a frente porque para montar um deck de cartões do zero (para um tema de estudo novo) é um trabalho enorme...

Vou ver se funciona para isso
Rode seu próprio chatGPT no seu computador! - #13 de 16
pogobol  144º
em 19/01/2024 15:48
Nível no Race: Tá ficando maluco igual o Bastter 
Testei um que gera imagens esses dias:
GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

Ainda não tenho placa de vídeo compatível, então demora um pouco pra gerar...

A imagem ficou boa e o quarto quente :-)
 
Rode seu próprio chatGPT no seu computador! - #14 de 16
Giovanni 
em 20/01/2024 10:00
Nível no Race: Profissa do Bastter Race
várias dicas legais no tópico, valeu pessoal
Rode seu próprio chatGPT no seu computador! - #15 de 16
oxe  1º
em 22/01/2024 13:14
Rode seu próprio chatGPT no seu computador! - #16 de 16

9 usuários comentaram este tópico.
Clique para ir para o primeiro comentário do usuário.