2024 10:58

Tecnologia

renatin 181º

em 28/06/24 8:32

Nível no Race: Tá ficando maluco igual o Bastter

comentada em 28/06/2024 10:58

A reportagem é essa (com link para o pre-print): June | 2024 | Ars Technica
Se alguém está se perguntando "e daí?", só digo que a parte de multiplicação de matrizes é a mais pesada no processo de treinamento de modelos AI. No mínimo, teríamos redução de gastos energéticos:

"Training a large language model like GPT-3, for example, is estimated to use just under 1,300 megawatt hours (MWh) of electricity; about as much power as consumed annually by 130 US homes". Fonte: https://medium.com/@sjalexandre/python-tutorial-debugging-and-error-handling-511b50781641

Ah mas isso é feito poucas vezes para um modelo. Nope. Numa palestra que assisti em um congresso, um funcionário do facebook exemplificou que treinam modelos frequêntemente e em várias granularidades: 30min, 1h, 5h, dia e etc, a dependeder o tamanho do modelo e aplicação.

tópicos e FAQs relacionados

Comentários

Último comentário Só moderadores Só os meus Só quem eu sigo Ordenar por gostei

TheFariasLima

em 28/06/2024 10:58

Tem estudos indicando que seria mais efetivo utilizar sinal analógico para fazer a multiplicação do que uma representação binária (sinal digital). Pois, com o sinal analógico essa conta é instantânea, enquanto com sinal digital é bem demorado.