Rode seu próprio chatGPT no seu computador!

Tecnologia
Giovanni  
em 19/01/24 11:24

Comentários

Último comentário 1º comentário do autor Só moderadores Só quem eu sigo Ordenar por gostei
Giovanni  
em 19/01/2024 11:25
Ao abrir o programa, é só escolher e baixar um dos diversos modelos pré-treinados

; 2; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #1 de 16
Giovanni  
em 19/01/2024 11:27
rodando localmente

1 - faça a pergunta
2 - abra o gerenciador de tarefas e veja sua cpu/GPU pegando fogo




pronto, agora é só ir testando os modelos e ver qual te agrada/atende seu case, e se tiver curiosidade, aprender a treiná-los!
; 6; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #2 de 16
qsxg  
em 19/01/2024 11:48
Tem muita diferença entre usar um chatgpt web e um instalado no pc? Nas questões de qualidade de resposta, velocidade de resposta, etc?
; 4; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #3 de 16
oxe  
em 19/01/2024 11:58
Bem legal, chegar em casa vou testar. Pelo que entendi, eles basicamente usam a API da OpenAI, né? Não é um modelo próprio deles, ou é?
; 2; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #4 de 16
oxe  
em 19/01/2024 11:59
A propósito, no final dessa lista aqui tem algumas ferramentas open source interessantes:

Open Source AI Projects and Tools to Try in 2023

Olha essa:

; 0; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #5 de 16
Giovanni  
em 19/01/2024 12:00

postado por @qsxg em 19/01/2024 11:48:48

Tem muita diferença entre usar um chatgpt web e um instalado no pc? Nas questões de qualidade de resposta, velocidade de resposta, etc?

Tem, vc vai usar outros modelos e não necessariamente o da OPENAI
Vamos supor q você queira treinar um bot para chamar seu cliente de burro, o chatGPT mesmo pago provavelmente não faria por causa das diretrizes da openAI; mas com seu modelo de chatbot você treina como quiser (e também lida com as consequências)

gpt=\= chatGpt
Gpt é um tipo de AI
ChatGPT é um de gpt treinada pela openAI

Generative pre-trained transformer - Wikipedia
postado por @oxe em 19/01/2024 11:58:36

Bem legal, chegar em casa vou testar. Pelo que entendi, eles basicamente usam a API da OpenAI, né? Não é um modelo próprio deles, ou é?

Da para usar o da openAI com a API, mas dá para escolher um monte de outros modelos free
; 9; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #6 de 16
rui77  
em 19/01/2024 12:19


postado por @Giovanni em 19/01/2024 12:00:54

Da para usar o da openAI com a API, mas dá para escolher um monte de outros modelos free

É a melhor solução para a Bastter então kkkk.  O patrão agora só vai ficar jogando futvolei e a IA dando voadora.
; 3; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #7 de 16
BrandonLee  
em 19/01/2024 12:25


postado por @Giovanni em 19/01/2024 11:27

rodando localmente

1 - faça a pergunta
2 - abra o gerenciador de tarefas e veja sua cpu/GPU pegando fogo




pronto, agora é só ir testando os modelos e ver qual te agrada/atende seu case, e se tiver curiosidade, aprender a treiná-los!



Ver mais
; 7; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #8 de 16
buy_and_nemo  
em 19/01/2024 13:00


postado por @Giovanni em 19/01/2024 11:25

Ao abrir o programa, é só escolher e baixar um dos diversos modelos pré-treinados





o Falcon é um modelo open source, mas o GPT ele vai enviar para a OpenAI da mesma forma

Existem vários tamanhos de modelos, mas com CPU vc só vai conseguir rodar os menores. Eu fiz testes locais aqui e rodando na API a mesma chamada leva 10 segundos, no CPU 18 minutos e na minha 3070 30 segundos

So pra efeito de comparação, o Falcon da lista tem 7B parâmetros, o GPT 3.5 tem 170 B e o GPT 4 estimados 1.7 Trilhao

O falcon vai funcionar bem pra tarefas que requerem menos brain power. Mais pra responder baseado em contexto do que fazer “pensamento” em si como o GPT faz 
; 4; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #9 de 16
buy_and_nemo  
em 19/01/2024 13:18
Eu vou testar essa ferramenta. Pra testar local eu vinha usando o lmstudio.ai 
; 3; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #10 de 16
oxe  
em 19/01/2024 13:36
Pra testar vários modelos, pode usar esse site aqui:

https://chat.lmsys.org/

Vai em Direct Chat e escolhe o modelo que quer testar.
; 3; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #11 de 16
GhostRider28  
em 19/01/2024 14:52


postado por @rui77 em 19/01/2024 12:19
É a melhor solução para a Bastter então kkkk.  O patrão agora só vai ficar jogando futvolei e a IA dando voadora.

; 4; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #12 de 16
PMHM  
em 19/01/2024 15:01
Obrigado, Giovanni e demais... Isso veio em boa hora para mim!

Entre ontem e hoje estava justamente com a ideia de experimentar usar um LLM para me ajudar a criar cartões de estudo para o Anki (flashcards)... Tem vários estudos que sugerem que a abordagem da repetição espaçada é uma das melhores para aprender, mas eu nunca levei para a frente porque para montar um deck de cartões do zero (para um tema de estudo novo) é um trabalho enorme...

Vou ver se funciona para isso
; 4; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #13 de 16
o_o_o  
em 19/01/2024 15:48
Testei um que gera imagens esses dias:
GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

Ainda não tenho placa de vídeo compatível, então demora um pouco pra gerar...

A imagem ficou boa e o quarto quente :-)
 
; 3; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #14 de 16
Giovanni  
em 20/01/2024 10:00
várias dicas legais no tópico, valeu pessoal
; 0; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #15 de 16
oxe  
em 22/01/2024 13:14
; 1; ; 0;
0 '; 0';
Rode seu próprio chatGPT no seu computador! - #16 de 16

9 usuários comentaram este tópico.
Clique para ir para o primeiro comentário do usuário.

Ações Pesquisa Videos Livros Análise de Carteira Desconto FAQs Orientação Esportiva Ofertas e Serviços Bastter System Boletim IR Podcasts Revista Tecnologia - Ajuda Eu Assinar Ações Pesquisa Videos Livros Análise de Carteira Desconto FAQs Ofertas e Serviços Orientação Esportiva Boletim BS Podcasts IR Tecnologia Ajuda eu Revista Assinar Assinar

BastterZap