DeepSeek

Tecnologia
matheussa   180º
em 28/01/25 12:01
Nível no Race: Fera neném 
ver melhores comentários
destaques neste tópico
temas relacionadosClique para pesquisar tópicos sobre o tema

Comentários

Último comentário 1º comentário do autor Só moderadores Só os meus Só quem eu sigo Ordenar por gostei
Brutalroot  180º
em 28/01/2025 12:19
Nível no Race: Taquipariu
e zilhões e vezes mais barato.
DeepSeek - #1 de 20
dwightschrute  180º
em 28/01/2025 12:38
Nível no Race: RookieNível no Race: IntermediárioNível no Race: Tá começando a andar
É engraçado pensar que algo tão "intuitivo" - "mais bits de processamento, mais capacidade" - pode enganar mentes tão bem treinadas.

Se eu não tenho tantos valores possíveis para representar, ora, ora, posso trabalhar com um tipo menor. E isso vai economizar memória.

O caso é que dificilmente temos uma escala em que isso seja representativo, então é uma sacada que eu acho difícil de ter :-D
DeepSeek - #2 de 20
picolinoBR  180º
em 28/01/2025 13:00
Nível no Race: Tá ficando maluco igual o Bastter 
A IA chinesa tem resposta pra tudo. Ou quase tudo…


Ver mais
DeepSeek - #3 de 20
adicionado  180º
em 28/01/2025 13:57
Nível no Race: Tá ficando maluco igual o Bastter
Sei não hein, coisas como

"Compress the key-value indices which eat up much of the VRAM; they get 93% compression ratios"

me intrigam.
Para eles conseguirem essa compressão, a versão anterior teria que estar muito subótima, o que eu duvido muito que a Open AI estaria no ChatGPT-3
DeepSeek - #4 de 20
dwightschrute  180º
em 28/01/2025 14:16
Nível no Race: RookieNível no Race: IntermediárioNível no Race: Tá começando a andar
a gente não tem acesso ao código da OpenAI, então estou respondendo mais como um exercício lógico para nós mesmos :-)

@adicionado se você tem apenas 1 byte para endereçar todos os valores (primeiro item), baixou de 32 para 8 bits o overhead do índice. 75% melhor. se ainda rolar um algoritmo de compressão, não é impraticável.
e isso sendo "conservador". se por total casualidade a galera da OpenAI tiver criado as estruturas de dados básicas deles como "double"...
DeepSeek - #5 de 20
adicionado  180º
em 28/01/2025 14:53
Nível no Race: Tá ficando maluco igual o Bastter

postado por @dwightschrute em 28/01/2025 14:16

a gente não tem acesso ao código da OpenAI, então estou respondendo mais como um exercício lógico para nós mesmos :-)

adicionado se você tem apenas 1 byte para endereçar todos os valores (primeiro item), baixou de 32 para 8 bits o overhead do índice. 75% melhor. se ainda rolar um algoritmo de compressão, não é impraticável.
e isso sendo "conservador". se por total casualidade a galera da OpenAI tiver criado as estruturas de dados básicas deles como "double"...

Mas quando leio "compress key-values indices", eu assumo a compressão do index (key -> value), não tava assumindo que estavam falando só da Key.

Se tão falando só da Key, aí é "Como mentir com estatísticas" total, porque normalmente o tamanho de uma key (comumente um primitivo) é irrelevante em um Hashmap, a não ser que o value seja um primitivo muito básico tipo boolean, integer, double. O que duvido muito que seja o caso, provavelmente é algum objeto mais complexo.
DeepSeek - #6 de 20
matheussa  180º
em 28/01/2025 14:56
Nível no Race: Fera neném 
pros que tiverem interesse em entender a tecnologia, segue o paper que introduz a tecnologia:
DeepSeek-R1/DeepSeek_R1.pdf at main · deepseek-ai/DeepSeek-R1 · GitHub
DeepSeek - #7 de 20
SilkRoadOasis  66º
em 28/01/2025 15:27
:/
DeepSeek - #8 de 20
dwightschrute  180º
em 28/01/2025 16:29
Nível no Race: RookieNível no Race: IntermediárioNível no Race: Tá começando a andar
@adicionado eu acho que o valor pode não ser tão complicado, não. porque no geral (GERAL) uma rede neural é composta de nós ("neurônios") e hastes ("axônios", acho, problema de biologia meu :-D) com um peso em cada. ao treinar a rede você está fazendo apenas ajustes nestes pesos.

o valor do peso é relativamente simples de representar. se por acaso os caras usavam "double value" e eles pensaram em fazer "short value", dá pra reduzir bastante, sim :-D coisa de demoscene, mas dá.
DeepSeek - #9 de 20
acsm1 
em 28/01/2025 17:12
Nível no Race: Tá começando a andar
@picolinoBR continuidade do negocio né, mas geralmente as IAs n entram em criticas a politicos mesmo
DeepSeek - #10 de 20
Henrique59 
em 28/01/2025 17:34
Nível no Race: Tá começando a andarNível no Race: Fera nenémNível no Race: Tá ficando maluco igual o Bastter 
DeepSeek - #11 de 20
dwightschrute  180º
em 28/01/2025 18:05
Nível no Race: RookieNível no Race: IntermediárioNível no Race: Tá começando a andar
DeepSeek - #12 de 20
cachorroloco2  21º
em 29/01/2025 09:36
Nível no Race: Profissa do Bastter Race 


postado por @dwightschrute em 28/01/2025 18:05:52




Ver mais
DeepSeek - #13 de 20
oxe  1º
em 06/03/2025 10:10
DeepSeek - #14 de 20
darthtrader  180º
em 06/03/2025 10:20
Nível no Race: Intermediário
Minha teoria: a grande maioria do pessoal de hoje não sabe programar já que tem praticamente recursos computacionais infinitos.

 
DeepSeek - #15 de 20
Sant_  180º
em 06/03/2025 11:25
Nível no Race: Fera neném
@darthtrader concordo! Sempre foi bem difícil ser ou achar um programador/desenvolvedor excelente. Com gpt, deepseek e outras coisas, essa competência vai deixando de ser mais exigida no mercado devido a facilidade de criar um código com as IAs.
DeepSeek - #16 de 20
manguito  180º
em 06/03/2025 13:41
Não sou programador portanto não tenho que me preocupar em criar códigos eficientes.

Mas trabalho com código, criação de scripts e automação de tarefas.

As IAs aumentaram absurdamente minha produtividade. Consigo investir bem mais tempo na parte pensante do meu trabalho e menos na parte operacional.
DeepSeek - #17 de 20
Sant_  180º
em 06/03/2025 14:36
Nível no Race: Fera neném
Com certeza, a IA me ajuda bastante no dia a dia também com cibersegurança e infra. Eu economizo pelo menos uma ou duas semanas em algumas tarefas
DeepSeek - #18 de 20
darthtrader  180º
em 07/03/2025 11:51
Nível no Race: Intermediário


postado por @Sant_ em 06/03/2025 14:36

Com certeza, a IA me ajuda bastante no dia a dia também com cibersegurança e infra. Eu economizo pelo menos uma ou duas semanas em algumas tarefas


A IA aí ajuda muito, e o mais bizarro é que escreve código melhor (pelo menos na documentação) do que 90% dos programadores !
DeepSeek - #19 de 20
Sant_  180º
em 07/03/2025 12:21
Nível no Race: Fera neném
Verdade cara, a qualidade do código gerado tem melhorado com o passar dos anos. Minha impressão é que os programadores vão ficando, digamos, mais preguiçosos no sentido de entender realmente o que o código faz e muito confiantes no conteúdo gerado pelas IAs (deepseek, gpt, etc). Pode ser um equívoco da minha parte, mas tenho notado isso aos poucos quando converso com o pessoal mais técnico. 
DeepSeek - #20 de 20

Notificar 1º comentário 1º comentário do autor Só moderadores Só os meus Só quem eu sigo Ordenar por gostei

Você está em Tecnologia > DeepSeek
por matheussa em 28/01/2025 12:01

13 usuários comentaram este tópico.
Clique para ir para o primeiro comentário do usuário.