Videos streaming images jeux et buzz
Connexion






Perdu le mot de passe ?

Inscrivez-vous maintenant !
Menu Principal
Communauté




Djoach
[Anglais] La plupart des recherches publiées sont-elles fausses ?
 4  #1
Je masterise !
Inscrit: 13/08/2008 11:42
Post(s): 3924
Karma: 2117

Is Most Published Research Wrong?

Derek Muller explique dans cette vidéo pourquoi autant de recherches publiés sont fausses. C'est en partie du aux faux positifs inhérent au fonctionnement de la science, mais pas seulement, loin de là.
Une des solutions, qui commence à émerger, est de changer le mode de publication des recherches. Beaucoup de trop de journaux refuse de publier les résultats de recherches qui ne montrent pas de résultat, ou des réplications d'études ayant déjà été publiés, alors que la réplications des expériences est une des bases de fonctionnement de la science, poussant ainsi les chercheurs à ne faire que des études nouvelles pour s'assurer d'être publié. Poussant ainsi les chercheurs aussi à, sans forcément truquer leurs résultats, se débrouiller pour que leurs résultats soient considéré comme statistiquement significatives par différentes méthodes.

Comme l'a dit Brian Nosek :
« Cela ne coute rien de se tromper, ne pas être publier, oui »
poussant ainsi les chercheurs à publier à tout prix. Il faut à tout prix arrêter cette course à la publication.

Si un article, surtout dans une publication non scientifique, commence par « Une étude à montré que » vous pouvez être sur que l'on ne peut pas tirer de conclusion sérieuse de cette étude.

Contribution le : 13/08/2016 04:40
Signaler

danielox
 0  #2
Je suis accro
Inscrit: 30/07/2013 22:25
Post(s): 932
Donc déjà non.
Depuis la nuit des temps on a publié des résultats similaires, les réplicat existent depuis pas mal de temps. Le problème vient non pas de la publication de réplicat mais de la réplicabilité des résultats. Le système de publication de résultats négatif a toujours existé sous d'autre forme (supplementary figures etc...).
On obtient en moyenne 10 % ou moins des data qui ont un réplicat exact pour énormément de raison, mais la première est la limité de place. Les publications se font sur environ 4 000 mots, donc balancé l'introduction, les methodes, les résultats et la conclusion sur 4 000 mots et surtout une demande de plus en plus importante de data fais que nous scientifique nous diminuons les méthodes, donc moins d'information augmente grandement la variabilité.

Apr-s la réponse a "les recherches scientifique sont elle fausses" la réponse est oui et non. Recemment dans PNAS un article a montré que les recherches FRMI ont utilisé un taux de significance de 0.9 (90% de derivation est significant) au lieu de 0.05 (moins de 5 % de derive signifie resultats significant). On pourrais donc dire que les résultats de fMRI sont tous faux. Et pourtant la plupart ont était repliqué, réanalyser et il apparait qu'on retrouve les mêmes résultats. Tout cela a cause,ou grace aux réplicats.

Donc dire que la base de la science c'est les réplicats est vrai, dire qu'on commence tout juste a le faire c'est faux. Suffit de voir des journaux comme PNAS ou Elife qui invitent souvent des submissions de paires, ou un même sujet est traité de la même manière et publié en même temps.

Au passage cette phrase:
Si un article, surtout dans une publication non scientifique, commence par « Une étude à montré que » vous pouvez être sur que l'on ne peut pas tirer de conclusion sérieuse de cette étude.

Est totalement fausse, une seule étude qui montre un résultats sur un n significant, avec des statistique significative et bien mené sera aussi sérieuse que 100 études bien menée.

La science et les publications ont déjà suffisament de problèmes (impact factor, h-index, auto-citation, financement basé sur h-index, focalisation des methodes etc....) pour éviter de raconter des "conneries".

Contribution le : 13/08/2016 05:07
Signaler

Djoach
 0  #3
Je masterise !
Inscrit: 13/08/2008 11:42
Post(s): 3924
Karma: 2117
Citation :

@danielox a écrit:
Donc déjà non.
Et tu diras un peu plus loin qu'en fait, c'est oui et non ... ou alors je ne sais pas à quoi réponds ce non, si ce n'est à la question du sujet. Et donc oui et non, c'est en gros ce qu'il dit lui aussi ...

Citation :
Depuis la nuit des temps on a publié des résultats similaires, les réplicat existent depuis pas mal de temps.
Depuis la nuit des temps est discutable ... mais bon passons, et il n'est dit nul part que c'est réplicats sont une invention récente. Pourquoi dis-tu cela, alors ?

Citation :
Le problème vient non pas de la publication de réplicat mais de la réplicabilité des résultats. Le système de publication de résultats négatif a toujours existé sous d'autre forme (supplementary figures etc...).
On obtient en moyenne 10 % ou moins des data qui ont un réplicat exact pour énormément de raison, mais la première est la limité de place. Les publications se font sur environ 4 000 mots, donc balancé l'introduction, les methodes, les résultats et la conclusion sur 4 000 mots et surtout une demande de plus en plus importante de data fais que nous scientifique nous diminuons les méthodes, donc moins d'information augmente grandement la variabilité.
C'est en en effet aussi une partie du problème. Mais pas la seule, comme tu veux le faire entendre.

Citation :
Apr-s la réponse a "les recherches scientifique sont elle fausses" la réponse est oui et non. Recemment dans PNAS un article a montré que les recherches FRMI ont utilisé un taux de significance de 0.9 (90% de derivation est significant) au lieu de 0.05 (moins de 5 % de derive signifie resultats significant). On pourrais donc dire que les résultats de fMRI sont tous faux. Et pourtant la plupart ont était repliqué, réanalyser et il apparait qu'on retrouve les mêmes résultats. Tout cela a cause,ou grace aux réplicats.
Je l'ai déjà dit, je n'ai pas nié l'existence des réplicats.

Citation :
Donc dire que la base de la science c'est les réplicats est vrai, dire qu'on commence tout juste a le faire c'est faux. Suffit de voir des journaux comme PNAS ou Elife qui invitent souvent des submissions de paires, ou un même sujet est traité de la même manière et publié en même temps.
Ce n'est pas ce que je dit. Je n'ai à aucun moment dit qu'on commençait juste à le faire. Ce que je dis c'est, et je me cite : "Une des solutions, qui commence à émerger, est de changer le mode de publication des recherches." Ce que l'on commence juste à faire c'est changer le mode de réplication. Comment pourrais-je dire que la réplication d'une étude est l'une des bases de la sciences et dire qu'on commence juste à le faire ? Cela ne serait pas logique.

Citation :
Au passage cette phrase:
Si un article, surtout dans une publication non scientifique, commence par « Une étude à montré que » vous pouvez être sur que l'on ne peut pas tirer de conclusion sérieuse de cette étude.

Est totalement fausse, une seule étude qui montre un résultats sur un n significant, avec des statistique significative et bien mené sera aussi sérieuse que 100 études bien menée.
Ma phrase est un petit peu caricaturale, j'en conviens aisément, cependant, je précise bien, surtout dans les publications non scientifique, c'est quand même pas mal vrai. En tous cas, certainement pas complètement faux. On peut voir dans les journaux titrer et je vais dire n'importe quoi car j'ai la flemme de chercher de vrai titre, mais c'est pour illustrer l'idée, "Une étude à montré que manger du chocolat donne le cancer" et six mois plus tard, le même journal titrer "Une étude à montré que manger du chocolat protège du cancer" ...

Citation :
La science et les publications ont déjà suffisament de problèmes (impact factor, h-index, auto-citation, financement basé sur h-index, focalisation des methodes etc....) pour éviter de raconter des "conneries".
Effectivement les publications scientifiques ont déjà pas mal de problème, et ce n'est certainement pas en se voilant la face que l'on va les régler, et ajouter un problème aux vus de ceux déjà existant ne va pas tant lui compliquer la vie que ça.

Mais j'aimerais bien que tu développes vraiment en quoi ce qui est dit dans cette vidéo, pas dans ce que je dis moi, est de la connerie. Cela m’intéresse vraiment. Et pour le moment, le moins que l'on puisse dire, c'est que tu ne m'as du tout convaincu. Surtout en faisant une lecture partiale de ce que je dis.

Contribution le : 13/08/2016 05:45
Signaler

Biiiiiip
 0  #4
Je masterise !
Inscrit: 10/01/2008 13:31
Post(s): 4674
Karma: 653
Citation :

@Djoach a écrit:
c'est quand même pas mal vrai. En tous cas, certainement pas complètement faux.


t'aurais pu dire "y'a pas de fumée sans feu", c'était un peu pareil. enfin pas tout à fait différent :lol:

Contribution le : 13/08/2016 09:43
Signaler

 0  #5
Fantôme
Je peux venir jouer au ni vrai ni faux avec vous?

Bon, alors, je pense que l'exactitude des résultats démontrent de manière flagrante que la certitude statistique devrait être mise en doute, ou tout du moins laisser place à une contre analyse afin de conforter les possibilités d'erreurs, et ce, afin de respecter l'éthique de la science.

ipfs QmZkzrh1eopxCN5M5RJuDutqP47qqaxFDcFuNknpFrHg2r


Et merde............

Contribution le : 13/08/2016 10:45
Signaler

danielox
 0  #6
Je suis accro
Inscrit: 30/07/2013 22:25
Post(s): 932
@Djoach Alors soit j'ai mal lu ceci:

"Beaucoup de trop de journaux refuse de publier les résultats de recherches qui ne montrent pas de résultat, ou des réplications d'études ayant déjà été publiés"

Soit tu ne comprends pas que même les plus grands journaux, je parle d'ici de revue scientifique, la presse a moins que tu me prouve le contraire n'a aucun niveau scientifique, ont toujours publié des réplicats.

Je ne me suis pas attardé sur la vidéo, car c'est un avis perso, je trouve que beaucoup d'arguments ne sont pas vrai. Mais s tu veux que je développe je le ferais un peu plus tard. Mais je me suis attardé sur ta phrase c'est tout.
Je ne trouve pas que les recherches scientifiques sont toute fausses, beaucoup sont adaptés (choix des data, selection des outliners etc...) mais au final vue le nombre de réplicat ça s'annule plus ou moins.

Sinon pour la suite, la science a beaucoup de problème etc... Et donc mettre un problème en plus qui n'en est pas un (j'aurais du formuler comme cela).

Contribution le : 13/08/2016 16:50
Signaler

danielox
 0  #7
Je suis accro
Inscrit: 30/07/2013 22:25
Post(s): 932
Alors sur la vidéo:

D'une part l'auteur de la video oublie un point tres important, le statistcal power analysis. Avant d'avoir l'ensemble de tes datas, tu doit et maintenant presque tous les journaux de science le demande) faire tourner un test de power, qui va determiner le nombre minimum de data point que tu doit générer. Donc ton test de significance doit suivre de test de power.

De plus, 0.05 c'est que la valeure minimum, j'ai déjà publier des valeures de 6.10-12.

Ensuite, concernant l'étude du graphique a 8 minutes, sur les joueurs black etc... Ce que l'auteur de la vidéo oublie de dire, ou plutot ne veux pas dire, c'est qu'aucune étude montre qu'il y a 3 fois plus de chance pour un joueur black, la moyenne (sont point vert) c'est juste la moyenne, or toutes les études montre un coefficient de confidence a 95% en dessous de 0.05 et oui, c'est justement de la sur interpretation de data.

Ensuite concernant le quantum quark et son p-hacking, les résultats ont bien était reproduit contre dit et trouvé de la même manière, ce n'etait qu'une sur interpretation de résultats et non un p-hacking.

Je ne dit pas que le p-hacking n'existe pas, mais qu'il est facile de l'éliminer. Car ce gentil Mr oublie de dire qu'aucun test de stat se suffit a lui même, tu a des analyses en boottrap (tu genere des data random et si ces data deviennent significant ton groupe réel de data ne l'es pas) ou des analyses en post hoc (tu verifie si la variance d'un groupe a l'autre peut expliquer la significance).

En gros il dénonce de la malhonnetteté alors qu'il en fais une belle démonstration.

Contribution le : 13/08/2016 17:35
Signaler


 Haut   Précédent   Suivant






Si vous êtes l'auteur d'un élément de ce site, vous pouvez si vous le souhaitez, le modifier ou le supprimer
Merci de me contacter par mail. Déclaré à la CNIL N°1031721.