Efeitos da Suplementação "X" na memória em indivíduos saudáveis: revisão sistemática e meta-análise
comentada em 17/07/2025 17:48

@Stoic @Bastter @Giovanni @Paulo

Mauro, quando se olha as tabelas do estudos, fica parecendo que ele misturou muita coisa, efeito curto, efeito intermediário e longo, inclusive considerando várias vezes os mesmos trabalhos para fazer a curva de desvio, e tem dois trabalhos dentro dos que ele colocou que distorcem muito os dados para benefício positivo.

Inclusive tem uma carta ao editor de uma possível errata:

Prokopidis et al have conducted a meta-analysis of randomized, placebo-controlled clinical trials to assess the effects of oral creatine supplementation on memory performance of healthy individuals. However, concerns were raised regarding the validity of their statistical analyses, which may have led to misleading conclusions. In this letter, we describe the statistical issue at hand and its potential implications.

Eu não consegui acesso à varta completa, mas antes de ver essa errata, achei a tabela esquisita também.

Minha dose regular de creatina:

Se misturar com caré vira um pré treino intelectual?:

postado por @PadilhaJuniors em 17/07/2025 08:20

Se misturar com caré vira um pré treino intelectual?:

Pode chamar de "O Banquete", de Pratão..

o problema de analisar publicações científicas da fronteira do conhecimento (journals) fora do meio acadêmico é que não estamos 'calibrados' pra entender o que é ou não uma pesquisa de alto padrão.

exemplo, o trabalho acima foi citado quantas vezes? está em um journal topX (top 20 por exemplo)? foi apresentado em qual congresso? etc

publicar qualquer um publica. até pagando vc publica. agora ser relevante (citações) e ter passado por peer review de alto padrão é outra história.

@Molosso_Manjua
"
Dear Editor,

We have read with great interest the work by Prokopidis et al1, who conducted a meta-analysis of randomized, placebo-controlled clinical trials to assess the effects of oral creatine supplementation on memory performance of healthy individuals and found beneficial effects in favor of the intervention. In this letter, however, we argue that such conclusions regrettably were based on flawed statistical analyses that warrant correction.

The statistical issue at hand is known as unit-of-analysis error and occurs when the number of observations in an analysis does not match the number of units randomized, violating the assumption of independence in traditional meta-analysis models.2,3 Typically, in randomized, controlled trials, participants are randomized to 1 of 2 intervention groups, and a single measurement for each outcome from each participant is collected and analyzed. However, studies may report data for the same outcome, using several measurement scales. This leads to a form of dependence whereby multiple estimates are obtained from the same individuals. When this is the case, reviewers are faced with difficult analytical decisions, such as about whether a meta-analysis should be performed, and what data and models ought to be used.

Prokopidis et al1 decided to simply combine all the available data of every study, using effect sizes from multiple outcome measures in a single analysis. Although mathematically possible, this practice pervasively violates the assumption of independent observations. The number of unique participants originally included across 8 studies (n = 225) is nearly quadrupled in the main meta-analysis (n = 847 participants; Figure 2 in the Prokopidis et al1 article). Including correlated, overlapping, or duplicate samples as if they were independent data is not only logically fallacious, doing so also artificially increases statistical power and inflates precision, leading to increased risk of false-positive findings and invalid estimates of effect.4 That most studies were judged as at high risk of bias further aggravates this analytical issue, overstating evidence of questionable validity.

Double counting of evidence in meta-analyses is a serious but relatively common problem,5 despite plenty of published guidance on how to avoid it. When studies report multiple effect sizes, authors may (1) combine the average effect sizes of each study, although at a cost of decreased statistical power; (2) use a full multivariate meta-analysis, if within-study correlations are available; or (3) use the robust variance estimation method for nonindependent effect sizes, which does not require knowledge of the within-study covariance.6 Alternatively, it is possible to select only the most suitable outcome measure that answers the specific research question of interest (ie, a single analysis using data of the most valid measurement of memory performance from each study) or to perform a separate meta-analysis for each conceptually similar memory test. Regardless of the chosen method, it is essential that the assumptions and limitations are clearly stated and inferences drawn cautiously, particularly those involving post hoc decisions that were not prespecified in a statistical analysis plan.7

CONCLUSION
Evidence-based practitioners often rely on meta-analyses for clinical decision-making, expecting that such studies are conducted according to rigorous methods that safeguard against bias. When this type of study fails to provide accurate results, misguided decisions in clinical practice and marketing messages with unwarranted health claims by the supplement industry are likely to ensue. We believe the meta-analysis presented by Prokopidis et al1 are ultimately flawed and have led to false-positive results. The analysis should be corrected to provide truthful estimates."

@Mauro
No meu conhecimento básico em estatística basta olhar na meta análise se houve diferença ou não. (O losango passa pelo 1 no intervalo de confiança?) E nesse caso não passa...foi feito um estudo em uma revista com 6.1 de fator de impacto ( o que é bastante) e além disso houve um efeito mais pronunciado em idosos.

@Zézinho @Mauro essa carta é realmente preocupante pois invalidaria o estudo.

postado por @Molosso_Manjua em 17/07/2025 07:39

Mauro, quando se olha as tabelas do estudos, fica parecendo que ele misturou muita coisa, efeito curto, efeito intermediário e longo, inclusive considerando várias vezes os mesmos trabalhos para fazer a curva de desvio, e tem dois trabalhos dentro dos que ele colocou que distorcem muito os dados para benefício positivo.

Inclusive tem uma carta ao editor de uma possível errata:

Prokopidis et al have conducted a meta-analysis of randomized, placebo-controlled clinical trials to assess the effects of oral creatine supplementation on memory performance of healthy individuals. However, concerns were raised regarding the validity of their statistical analyses, which may have led to misleading conclusions. In this letter, we describe the statistical issue at hand and its potential implications.

Eu não consegui acesso à varta completa, mas antes de ver essa errata, achei a tabela esquisita também.

eu achei o seu primeiro paragrafo perfeito.

não quis falar MINHA posição antes, para nao influenciar.

vamos ver abaixo de seu comentário, , mas acho que eh isso mesmo.

postado por @Charlito em 17/07/2025 13:14

Minha dose regular de creatina:

"cretina" ?

postado por @Nurso em 17/07/2025 14:06

o problema de analisar publicações científicas da fronteira do conhecimento (journals) fora do meio acadêmico é que não estamos 'calibrados' pra entender o que é ou não uma pesquisa de alto padrão.

exemplo, o trabalho acima foi citado quantas vezes? está em um journal topX (top 20 por exemplo)? foi apresentado em qual congresso? etc

publicar qualquer um publica. até pagando vc publica. agora ser relevante (citações) e ter passado por peer review de alto padrão é outra história.

SIM, mas mesmo levando em conta o que foi publicado, nao achei NADA que levasse a alguma conclusão.

nem "outros estudos são necessarios para avaliar..." eles escreveram no final.

postado por @blackpug em 17/07/2025 15:38

Mauro
No meu conhecimento básico em estatística basta olhar na meta análise se houve diferença ou não. (O losango passa pelo 1 no intervalo de confiança?) E nesse caso não passa...foi feito um estudo em uma revista com 6.1 de fator de impacto ( o que é bastante) e além disso houve um efeito mais pronunciado em idosos.

sim , o efeito mais pronunciado em idosos é válido, mas mesmo assim não se repete o suficiente para chegarmos a conclusão que os autores chegaram.

estou certo ou ja criei viés por achar uma bagunça?
serio, o que vc acha?

postado por @blackpug em 17/07/2025 15:43

@Zézinho Mauro essa carta é realmente preocupante pois invalidaria o estudo.

é... a carta não estava disponível.
pelo jeito tão forçando a barra.
mas mesmo "sem" a carta, alguns pensderam para o lado da Creatina e outros para o Placebo (alguns, nao somente UM), o que para mim invalida.

postado por @Zézinho em 17/07/2025 14:12

Molosso_Manjua
"
Dear Editor,

We have read with great interest the work by Prokopidis et al1, who conducted a meta-analysis of randomized, placebo-controlled clinical trials to assess the effects of oral creatine supplementation on memory performance of healthy individuals and found beneficial effects in favor of the intervention. In this letter, however, we argue that such conclusions regrettably were based on flawed statistical analyses that warrant correction.

The statistical issue at hand is known as unit-of-analysis error and occurs when the number of observations in an analysis does not match the number of units randomized, violating the assumption of independence in traditional meta-analysis models.2,3 Typically, in randomized, controlled trials, participants are randomized to 1 of 2 intervention groups, and a single measurement for each outcome from each participant is collected and analyzed. However, studies may report data for the same outcome, using several measurement scales. This leads to a form of dependence whereby multiple estimates are obtained from the same individuals. When this is the case, reviewers are faced with difficult analytical decisions, such as about whether a meta-analysis should be performed, and what data and models ought to be used.

Prokopidis et al1 decided to simply combine all the available data of every study, using effect sizes from multiple outcome measures in a single analysis. Although mathematically possible, this practice pervasively violates the assumption of independent observations. The number of unique participants originally included across 8 studies (n = 225) is nearly quadrupled in the main meta-analysis (n = 847 participants; Figure 2 in the Prokopidis et al1 article). Including correlated, overlapping, or duplicate samples as if they were independent data is not only logically fallacious, doing so also artificially increases statistical power and inflates precision, leading to increased risk of false-positive findings and invalid estimates of effect.4 That most studies were judged as at high risk of bias further aggravates this analytical issue, overstating evidence of questionable validity.

Double counting of evidence in meta-analyses is a serious but relatively common problem,5 despite plenty of published guidance on how to avoid it. When studies report multiple effect sizes, authors may (1) combine the average effect sizes of each study, although at a cost of decreased statistical power; (2) use a full multivariate meta-analysis, if within-study correlations are available; or (3) use the robust variance estimation method for nonindependent effect sizes, which does not require knowledge of the within-study covariance.6 Alternatively, it is possible to select only the most suitable outcome measure that answers the specific research question of interest (ie, a single analysis using data of the most valid measurement of memory performance from each study) or to perform a separate meta-analysis for each conceptually similar memory test. Regardless of the chosen method, it is essential that the assumptions and limitations are clearly stated and inferences drawn cautiously, particularly those involving post hoc decisions that were not prespecified in a statistical analysis plan.7

CONCLUSION
Evidence-based practitioners often rely on meta-analyses for clinical decision-making, expecting that such studies are conducted according to rigorous methods that safeguard against bias. When this type of study fails to provide accurate results, misguided decisions in clinical practice and marketing messages with unwarranted health claims by the supplement industry are likely to ensue. We believe the meta-analysis presented by Prokopidis et al1 are ultimately flawed and have led to false-positive results. The analysis should be corrected to provide truthful estimates."

postado por @blackpug em 17/07/2025 15:43

@Zézinho Mauro essa carta é realmente preocupante pois invalidaria o estudo.

eh....

@blackpug @Zézinho @Nurso @Molosso_Manjua  

parece que o negocio foi mal feito , tendencioso , ou comprado por algum tipo de interesse, sem querer falar mal.

postado por @PadilhaJuniors em 17/07/2025 13:20

Se misturar com caré vira um pré treino intelectual?:

nao, vira gororoba.... :))

E possiveis efeitos colaterais, não há ?

postado por @InvestidorBruto em 17/07/2025 11:38

E possiveis efeitos colaterais, não há ?

pode ter sim, com certeza, dependendo da dose, da continuidade de administração e da pessoa que consome - mas não está neste estudo.

parece que esta meta-análise foi para "ver o bonito" da coisa e tentar vender pra algum lugar.
(desculpe minha descrença no ser humano)

O meu comentário é sempre o mesmo sobre esse assunto.

Ainda que essa substância tenha efeitos positivos, ele provavelmente é adjunto de outros fatores. Ou seja, ele melhora em poucos % o efeito de outros fatores, ou seja, é um potencializador, que pode ser relevante dependendo do caso.

A minha experiência prática é:

A maioria das pessoas que em leem isso como "creatina melhora a memória" não faz o que precisa ser feito, ou pior, usa isso como permissão para fazer coisas prejudiciais.

Se os efeitos fossem estrombólicos, com melhoras absurdas, sendo que na verdade são marginais, a gente nem estaria tendo essa discussão.

Resumindo muito e clarificando o ponto, eu desconheço intervenção que creatina seja a intervenção principal.

No meu conhecimento ela sempre é adjunta.

Quem usa ela como "principal" ou se engana achando que ela supera os efeitos negativos de fatores de risco tende a se arrebentar.

postado por @Zézinho em 17/07/2025 09:12

Molosso_Manjua
"
Dear Editor,

We have read with great interest the work by Prokopidis et al1, who conducted a meta-analysis of randomized, placebo-controlled clinical trials to assess the effects of oral creatine supplementation on memory performance of healthy individuals and found beneficial effects in favor of the intervention. In this letter, however, we argue that such conclusions regrettably were based on flawed statistical analyses that warrant correction.

The statistical issue at hand is known as unit-of-analysis error and occurs when the number of observations in an analysis does not match the number of units randomized, violating the assumption of independence in traditional meta-analysis models.2,3 Typically, in randomized, controlled trials, participants are randomized to 1 of 2 intervention groups, and a single measurement for each outcome from each participant is collected and analyzed. However, studies may report data for the same outcome, using several measurement scales. This leads to a form of dependence whereby multiple estimates are obtained from the same individuals. When this is the case, reviewers are faced with difficult analytical decisions, such as about whether a meta-analysis should be performed, and what data and models ought to be used.

Prokopidis et al1 decided to simply combine all the available data of every study, using effect sizes from multiple outcome measures in a single analysis. Although mathematically possible, this practice pervasively violates the assumption of independent observations. The number of unique participants originally included across 8 studies (n = 225) is nearly quadrupled in the main meta-analysis (n = 847 participants; Figure 2 in the Prokopidis et al1 article). Including correlated, overlapping, or duplicate samples as if they were independent data is not only logically fallacious, doing so also artificially increases statistical power and inflates precision, leading to increased risk of false-positive findings and invalid estimates of effect.4 That most studies were judged as at high risk of bias further aggravates this analytical issue, overstating evidence of questionable validity.

Double counting of evidence in meta-analyses is a serious but relatively common problem,5 despite plenty of published guidance on how to avoid it. When studies report multiple effect sizes, authors may (1) combine the average effect sizes of each study, although at a cost of decreased statistical power; (2) use a full multivariate meta-analysis, if within-study correlations are available; or (3) use the robust variance estimation method for nonindependent effect sizes, which does not require knowledge of the within-study covariance.6 Alternatively, it is possible to select only the most suitable outcome measure that answers the specific research question of interest (ie, a single analysis using data of the most valid measurement of memory performance from each study) or to perform a separate meta-analysis for each conceptually similar memory test. Regardless of the chosen method, it is essential that the assumptions and limitations are clearly stated and inferences drawn cautiously, particularly those involving post hoc decisions that were not prespecified in a statistical analysis plan.7

CONCLUSION
Evidence-based practitioners often rely on meta-analyses for clinical decision-making, expecting that such studies are conducted according to rigorous methods that safeguard against bias. When this type of study fails to provide accurate results, misguided decisions in clinical practice and marketing messages with unwarranted health claims by the supplement industry are likely to ensue. We believe the meta-analysis presented by Prokopidis et al1 are ultimately flawed and have led to false-positive results. The analysis should be corrected to provide truthful estimates."

Obrigado 

postado por @Paulo em 17/07/2025 12:27

O meu comentário é sempre o mesmo sobre esse assunto.

Ainda que essa substância tenha efeitos positivos, ele provavelmente é adjunto de outros fatores. Ou seja, ele melhora em poucos % o efeito de outros fatores, ou seja, é um potencializador, que pode ser relevante dependendo do caso.

A minha experiência prática é:

A maioria das pessoas que em leem isso como "creatina melhora a memória" não faz o que precisa ser feito, ou pior, usa isso como permissão para fazer coisas prejudiciais.

Se os efeitos fossem estrombólicos, com melhoras absurdas, sendo que na verdade são marginais, a gente nem estaria tendo essa discussão.

meu ponto é exatamente esse:

MESMO QUE  a Creatina ajudasse, esta ajuda NÃO é relevante.

relevante sim, são outras coisas que dão mais trabalhos como exercitar o corpo e a mente, não estressar demais, ter um sono regrado, se alimentar de forma saudável.

@Mauro quando eu disse do intervalo de confiança isso ja foi analisado com o conjunto todo... isso vale para qualquer meta análise...olhe por por onde passar o valor dentro do intervalo de confiança igual eu disse. Eles tiraram a conclusão a partir daí.

postado por @Mauro em 17/07/2025 10:57

sim , o efeito mais pronunciado em idosos é válido, mas mesmo assim não se repete o suficiente para chegarmos a conclusão que os autores chegaram.

estou certo ou ja criei viés por achar uma bagunça?
serio, o que vc acha?

postado por @blackpug em 17/07/2025 16:44

Mauro quando eu disse do intervalo de confiança isso ja foi analisado com o conjunto todo... isso vale para qualquer meta análise...olhe por por onde passar o valor dentro do intervalo de confiança igual eu disse. Eles tiraram a conclusão a partir daí.

ok, vou rever.

obrigado.