1 Breakthrough: "Researchers upend AI status quo by eliminating matrix multiplication in LLMs" comentada em 28/06/2024 10:58 Tecnologia renatin em 28/06/24 8:32 comentada em 28/06/2024 10:58 A reportagem é essa (com link para o pre-print): June | 2024 | Ars TechnicaSe alguém está se perguntando "e daí?", só digo que a parte de multiplicação de matrizes é a mais pesada no processo de treinamento de modelos AI. No mínimo, teríamos redução de gastos energéticos: "Training a large language model like GPT-3, for example, is estimated to use just under 1,300 megawatt hours (MWh) of electricity; about as much power as consumed annually by 130 US homes". Fonte: https://medium.com/@sjalexandre/python-tutorial-debugging-and-error-handling-511b50781641Ah mas isso é feito poucas vezes para um modelo. Nope. Numa palestra que assisti em um congresso, um funcionário do facebook exemplificou que treinam modelos frequêntemente e em várias granularidades: 30min, 1h, 5h, dia e etc, a dependeder o tamanho do modelo e aplicação.
