A maioria dos artigos científicos são bullshit
comentada em 14/01/2020 07:47

Isso não faz nenhum sentido. Há evidente casos que artigos não apresentam uma metodologia robusta, mais a exceção é o exemplo do burro. A regra, na academia é uma produção comprometida com o rigor científico e metodologia robusta. Te “convido” em assistir uma aula de doutorado em qualquer universidade de renome e depois avalie se a maioria dos artigos são bullshit. 

Tudo que está ao seu redor, inclusive o conhecimento do oxigênio que vos cerca, veio de artigos científicos.

Conhecimento nunca é demais, o que torna essa discussão completamente inútil. Sempre vai ser muito melhor ter muitas publicações, ainda que com muito lixo no meio, que poucas, pelo simples fato que a possibilidade de sair algo que mude a vida das pessoas pra melhor é maior com muitas publicações. 

Se a maioria dos artigos são bullshit ou não eu não sei dizer, mas que as pessoas (e a mídia) interpretam um artigo com uma conclusão super limitada como se fosse conhecimento definitivo eu tenho certeza.

Cada um usa a parte do estudo que lhe interessa.

É justamente por isso que o método cientifico é a melhor coisa que a humanidade inventou para buscar conhecimento. 

Eu posso fazer um estudo no meu porão, e vou ter um resultado. Esse resultado pode estar errado porque eu interpretei os dados errado, minha metodologia tem um erro que não me ocorreu, eu estou levando uma grana de alguém que vai ser beneficiado por essa conclusão, uma exceção bem especifica desviou os resultados do experimento, eu peguei uma amostragem muito pequena, não considerei efeitos de longo prazo, etc. Literalmente podem ser milhares de coisas.

Então como saber se é bullshit? Bem, agora as melhores mentes deste ramo vão tentar reproduzir a minha pesquisa e ver que resultados eles chegam. Ou se for uma coisa mais teorica, vão apresentar problemas para desmontar a minha teoria. Se ela sobreviver a isso, é porque eu estava no caminho certo.

"Estudos" não são ciencia, falseabilidade é

"Likewise, in any field, the higher the number of academic publications the higher the ratio of garbage." (Nassim Nicholas Taleb) 
Foi preciso que viesse  um gênio como o Taleb para falar a verdade, doa a quem doer. Praticamente tudo que se produz na academia (e nos meios "científicos") atualmente é lixo atômico. Quem quiser encontrar alguma coisa que preste nesses meios precisa ser um mestre na capacidade de filtrar informações e ter um estômago de avestruz para digerir tanta porcaria.

Isso é o que falariam no passado sobre o que conhecemos hoje sobre a matemática.

Os cálculos que permitem a criptografia assimétrica (utilizada por bancos e por sites com proteção HTTPS) já eram conhecidos antes da invenção dos computadores. Provavelmente, naquela época, achavam totalmente inúteis aqueles princípios matemáticos que não tinham nenhuma aplicação prática. 

O importante é gerar conhecimento, sempre, ainda que não se perceba um benefício ou aplicação prática imediatamente.

Eu tava olhando os artigos sobre demência, achei 1 no Brasil, pensei vamos ver!

Era um enorme gerador de trololó para finalizar com "a incidência de demência no Brasil é X, em linha com outros países". Wtf??? Isso é mera informação e não produção de conhecimento.

O Brasil sofre com isso mais ainda que outros paises. A irrelevância é a norma.

@hOly Justificativa muito parecida como aquela vista em “ensinando os pássaros a voar” em Antifragil do Taleb.

Quase esqueci: isso que você apresentou é uma falácia. Muito das novas tecnologias também são fruto do P&D no setor privado e militar, os quais não produzem papel higiênico com rigor acadêmico.

Bom, grande parte do “conhecimento” científico é gerado por obrigação, não pesquisa de fato... são pessoas que precisam publicar algo para se graduar ou pós graduar em algo, com o supervisor assinando junto

bom... experiência de quem já viveu isso, a grande maioria dos trabalhos é feitos nas coxas, com métricas pouco acuradas, erros primários , fraudes e invenções 

por isso, em qualquer artigo a primeira coisa a se fazer é questionar o que se está sendo escrito

Em todas as épocas, a maior parte da produção de conhecimento sempre foi inútil. A diferença é que a universalização e descentralização da produção científica aumentaram o volume total de textos e a universalização do acesso ao conhecimento aumentou a percepção social quanto a esses erros. Tenho certeza de que há 200 anos a maioria das pessoas aqui desse site faria parte da plebe ignara incapaz de compreender até mesmo o que é produção científica.

Esse saudosismo de tempos que nunca existiram é apenas autoengano. Em todas as áreas, e inclusive na Ciência, os avanços são e sempre foram poucos e esparsos. Geralmente o conhecimento cresce de maneira incremental, até o momento em que a soma de pequenas partes possibilita uma produção que provoca um salto significativo no estado da arte. E a sociedade normalmente celebra esses saltos como extraordinários e esquece toda a legião de pesquisas anteriores que permitiram a existência desses avanços.

Mais ainda, para além do bullshit que sempre existiu e sempre existirá, o que muita gente também não entende é que o erro faz parte do desenho da Ciência. É plenamente impossível garantir de antemão que uma determinada pesquisa vá produzir resultados úteis ou esperados. Mas mesmo um artigo descrevendo a ausência de resultados é útil, permite economia de recursos no ORUTUF. A Ciência que tem medo de errar jamais vai produzir conhecimento novos.

E, ademais, o que é um resultado útil muitas vezes não é suficientemente claro na época em que se pesquisa. Há incontáveis situações de pesquisas, aplicadas ou teóricas, que só rendem frutos muitos anos depois.

Essa onda anticientificista é um suplício, a negação da evolução da própria mente e a celebração do obscurantismo.

Pra quem tem dificuldade em interpretar: O autor do post não disse que ciência é bullshit. Fez uma crítica a como grande parte da produção  acadêmica esta sendo feita. Assino embaixo e digo mais:
também é estarrecedor o baixo nível intelectual e cultural de grande parte dos mestres e doutores formados no país, inclusive de federais de certo renome. Conheço alguns que nunca leram um livro e que escrevem e falam um português sofrível.
Dos egressos dos cursos universitários melhor nem comentar.

"saudade de um tempo que nunca existiu" resume perfeitamente quase toda reclamação na internet que começa com "hoje em dia" ou similar. Oxe mais uma vez oxando

@hvss . O ponto aqui não é ciência. 

O ponto aqui se chama formalização do conhecimento. QQ pessoa pode falar qq porcaria sobre qq assunto, mas a porcaria só passa a ser conhecimento quando for publicada sob metologia científica para apreciação da comunidade. Simples assim. 

Isso tem implicações não só de formalização e catalogação do conhecimento, mas de aplicação prática. Se vc tem um paciente com apendicite, vc opera, pq está descrito em papers que essa é a melhor técnica de tratamento, e se não o fizer, o médico pode ser acusado de imperícia. É possível que em algum lugar exista alguma pílula mágica pra apendicite melhor que a cirurgia? talvez, mas até ser publicada para apreciação, o conhecimento disso não vale nada. 

Pro sabichão do P&D aí. Já tentou pegar uma droga desenvolvida por um lab privado e simplesmente colocar no mercado sem autorização do órgão competente? E advinha o que o órgão competente vai te exigir pra dar autorização? Teste clínico. E esse teste clínico nada mais é que um paper.

Até podemos argumentar que esse grande funil que é o status quo da publicação científica acaba por atrair gente demais, e em consequência muito lixo. Mas isso é irrelevante. Única coisa que importa é que isso não vai mudar por hora e portanto discutir isso é perda de tempo. 

Vc pode ser o maior conhecedor de leis do planeta. Se quiser advogar (no Brasil), precisa ter autorização da OAB e pra isso precisa ter diploma. Ou vc passa pelo processo ou seu esforço vale nada. E o que vc acha do processo, se é bom, se acrescenta algo ou não, não importa pro processo em si. Igualmente,  as pessoas publicam pq precisam publicar. E caba a nos focar no que presta somente. 

E o pior de tudo é que, em trabalhos de conclusão de curso, qualquer coisa que destoe da cantilena ideológica de sempre é tratada com desconfiança, medo e agressividade. Lembro-me bem quando fui defender a monografia no curso de Direito: "de onde você tirou essas conclusões tão diferentes do padrão mínimo defendido por TODOS os alunos do curso?". "É muito estranho". "Por que não repensa um pouco, para se adequar minimamente aos autores 'modernos' que tratam do tema?" Claro que não me deram nota máxima. 

Fazer artigo é chato da trabalho e é mal remunerado. Agradeço a quem se mata pra fazer isso, apesar de reconhecer q a maioria é porcaria. Literatura científica do Brasil não  dá pra chegar perto.

O que eu vejo na academia é o seguinte,  um monte de aluno novo, que não tem conhecimento ainda para desenvolver algum estudo, sendo obrigado a fazer um publicação em 6 meses, 1 ano. 
Não vou nem entrar no mérito sobre produzir lixo, eu acho que o mais preocupante é que isso termina com a liberdade e criatividade do aluno.
Sei lá, acho que se deveria focar mais em o aluno ter interesse e buscar conhecimento, criar alguma coisa a partir disso e, quando tiver um mínimo de algo útil, ai sim publica. Começar um mestrado sabendo que tem que publicar no final do ano é o fim da liberdade criativa.

No Brasil durante o tempo da Pátria Educadora, o pessoal lá de cima queria inflar os números da ""Educação"", e uma das métricas era a quantidade de artigo publicado.

Dai desceram lenha em todas as federais, obrigando os professores (que são obrigados a serem pesquisadores e professores ao mesmo tempo) a publicar um número X de papers em revistas e periódicos, com punições para quem não atingisse a meta.

Acho que foi lá por 2011~12. Dai começou o gerador de lero-lero, os professores mudaram a pós-graduação para obrigar os alunos a publicar várias coisas durante o mestrado/doutorado, qualquer coisa (para eles poderem assinar junto).

A quantidade de artigos publicados explodiu 

@Oxe eu acho que você não entendeu o ponto do Taleb. Acho que é a primeira vez que dou uma voadora no Oxe. É até estranho isso, hahahaa

Faço das minhas palavras as do @CdeC e do @oxe.
Parabéns pelo alto nível de discussão desse tópico e pela contribuição de todos.
Assim como o que é frequentemente dito na área Vai lá e faz, o "feito é melhor que perfeito". Quanto mais informação mais bullshit (copo meio vazio), mas também mais valor (copo meio cheio). Cabe a cada um perceber utilidade nas diversas informações disponíveis para poder desenvolver o seu conhecimento e colocar em prática na sua vida. Por fim, naturalmente, em um ambiente que as coisas são produzidas mais por necessidades externas do que internas, a tendência é que haja muitas publicações "pro forme", sem compromisso com qualidade e veracidade. Contudo, acredito que investir em ciência é tão importante quanto investir em empreendedorismo, porque são essas duas áreas que criam tudo aquilo que faz parte da nossa vida. Inovação não surge de acertar sempre, mas de se permitir criar, errar, aprender, refazer, ...

@cezar1602 ué, mas eu não falei nada do Taleb. Não entendi.

@oxe

O seu post não foi uma resposta ao post do Bastter sobre o Taleb? Se não foi, entendi errado.

Quando você diz que a maior parte dos estudos sempre foi inútil, deu a entender que você acredita que proporcionalmente nada mudou. Pra você o que mudou foi apenas nossa percepção pelo fácil acesso.

O que o Taleb diz e costuma demonstrar é que esse aumento da quantidade de estudos diminui a razão de estudos corretos. O crescimento das parcelas uteis/inuteis não acontece de maneira linear conforme o número de estudos aumenta.

Isso não quer dizer que é pra ser anti-ciência, ou saudosista, ou achar que no passado as coisas eram melhores. 

É apenas pra tomar cuidado pois há bullshit em todos os lugares.

A ciência é a melhor ferramenta de avanço para a humanidade, mas exige muita prudência, especialmente em se tratando de novidades pouco replicadas.

@cezar1602 certamente a proporção é variável no tempo, por diferentes fatores. Inclusive, a popularização do conhecimento tende a reduzir a qualidade média da produção, já que é mais difícil manter um controle de qualidade uniforme.

Mas isso não importa. Se antes eram produzidos 100 textos, dos quais 40 úteis, e agora se produzem 1000 textos, sendo 200 úteis, a única coisa que importa é que há 5 vezes mais textos úteis. A quantidade ou proporção de textos inúteis não faz diferença.

Quanto a obrigarem os pesquisadores a produzirem textos, política que comentaram acima, certamente é algo que tende a aumentar o volume e proporção de bullshit. Por outro lado, evita que parte do conhecimento útil deixe de ser formalizado por variados motivos (vaidade, insegurança, etc). Como o volume de conhecimento útil formalizado é o que realmente importa, não é uma política de todo ruim. O problema é atrelar as recompensas apenas ao volume de produção, sem qualquer controle de relevância.

@oxe

Concordo com tudo que escreveu agora e é exatamente meu ponto. Seu primeiro post pareceu discordar disso. Pode ter sido falha na minha interpretação. 

Um artigo não diz nada, somente dá indícios de algo. 
5 talvez comecem a dar uma pista mais sólida. 
30+ estudos chegando a mesma conclusão dão um pouco mais de validade a uma hipótese
1000+ artigos chegando a uma mesma conclusão em contextos de produção diferentes, aí temos algo sólido para nos embasar. 

Ciência é produzida tijolinho a tijolinho. Confirmação a confirmação (ou "desconfirmação"). 

O problema é querer chegar a uma conclusão a partir de um estudo ou apenas um punhado deles.

Se você entender isso você já se livra de metade dos bullshit de matérias em revistas e jornais que se apropriam de alguns artigos para chegar a uma conclusão barulhenta, quando na verdade tudo que eles tem é uma pista de uma possível hipótese. 

Mas cuidado, há uma linha tênue entre fazer esta ponderação ao lidar com estudos e dizer "99% do que está aí é bullshit e não serve para nada". Essa postura sim é preocupante e fortalece bizarrices que vemos por aí como earthplanners, antivax e anti aquecimento global. 
Isso temos que combater sempre. Por que? Porque há 1000+ artigos e evidências que podemos confiar para dizer "você está errado, e isso é um fato". 

A maioria com ensino superior é analfabeto funcional. Os que reclamam qnd uma verdade óbvia é dita: a maioria de qqr coisa não e boa, inclusive produção acadêmica, principalmente brasileira, precisam assumir um compromisso com si msm. Pq não passam de sardinhas da vida, repetindo sardinhice de forma religiosa sobre qqr coisa. Não só investimentos.

Eu perdi um pouco a admiração pela academia depois de me formar e começar a trabalhar. Não sei se era uma peculiaridade da minha área, mas a academia hj parece repleta apenas de acadêmicos, muitos que nunca tiveram contato real com a profissão a ser exercida ou tem a mínima noção da diferença entre a teoria e prática.

Presenciei o episódio descrito anteriormente, quando um professor que trabalhava comigo precisava escrever artigos para manter sua "meta", então ele pediu para eu e meus amigos escrevermos 4 papers e ele entrou como co-autor em todos eles. Alguns foram terminados de qualquer jeito, incompletos ou inconclusivos apenas para serem publicados a tempo, não sentia comprometimento com a "ciência", e acho que esse é o problema descrito pelo autor do tópico.

Coincidentemente o melhor professor que tive lá e que os alunos também adoravam era um que tinha trabalhando anos diretamente com a atividade ANTES de entrar pra academia, então conhecia muito do assunto e trazia muitos casos reais.

Alguns professores desprezavam atividades práticas na faculdade porque não tinham cunho acadêmico ou não tinha produção de artigos associada. No fim parece que boa parte da academia trabalha hoje para perpetuar o sistema acadêmico como ele é, não é à toa que parece haver uma desvalorização dos títulos hj em dia. Eu gosto muito do TED abaixo e ele me fez entender que isso é um problema maior no mundo do que eu imaginava:



Bom, espero não ter ficado muito longo, só um desabafo mesmo, dado o assunto.

Agora que postei esse TED pensei que poderia ter uma sessão pra discussão e compartilhamento de TEDs aqui, como há indicação de filmes e livros. Tenho alguns salvos que poderiam render discussões muito legais aqui no site

o que vcs acham?