Régulièrement, la presse fait état de polémiques concernant la validité scientifique d'une étude. Surtout quand les résultats de celle-ci concernent des enjeux économiques majeurs.

Souvent même, avant la publication de la méthodologie et des résultats, c'est la communication du communiqué de presse qui déclenche les passions. Entre des résultats précis et validés dans des circonstance déterminées et un titre accrocheur, le fossé peut devenir immense. Ainsi, une étude française qui semble montrer la toxicité du maïs OGM NK603 suite à une expérience de longue haleine menée sur des rats apparaît-elle rapidement dans la presse sous un titre accrocheur  (12/9/2012 - DH): "Il faut arrêter de jouer aux apprentis sorciers" , "La première étude au long cours sur les OGM est nette : les risques de cancer doublent, voire triplent chez les cobayes". avec une réaction des élus de la nation très opportuniste : "Stopper les essais d'OGM dans les champs belges", "La priorité des politiques ça doit être la santé des populations", "Ce qui est aussi inquiétant, c’est de se rendre compte que l’industrie agroalimentaire a poussé certains états à se lancer tête baissée dans une technologie agroalimentaire dont on ne connaissait pas vraiment les effets sur la santé", laissant planer un doute sur les systèmes de contrôle existants en Belgique alors que l'étude est française.

Communication certes très rapide quand le même média (20/9/2012 - DH) titre quelques jours plus tard  : "L’étude sur les OGM largement contestée", "La Commission européenne a mandaté une contre-expertise", "Le scoop du Nouvel Observateur est-il faisandé ? Basé sur l’étude menée par l’équipe du professeur de biologie moléculaire Gilles-Eric Séralini, développé sur sept pages et vendu en manchette par un titre ravageur Oui, les OGM sont des poisons !, le dossier du très sérieux hebdomadaire français en a pris plein la casquette hier".

Critique d'autant plus  étonnante que le même média avait annoncé un risque majeur pour la santé quelques jours plutôt. Mais l'actualité quotidienne fait rapidement oublier ces assertions différentes. Difficile de nier la part de responsabilité du journaliste dans la polémique. Avant toute contre-expertise sérieuse, le média a conclu : l'étude n'est plus (!) fiable.

 

Mesurer la validité

Mesurer la validité nécessite tout d'abord de s'interroger sur le commanditaire de l'étude. Dans le cas de l'étude sur la toxicité du maïs, l'expérience française a été financée par le Comité de recherche et d'information indépendantes sur le génie génétique (CRIIGEN), un organisme notoirement opposé aux plantes transgéniques.Quel a été le rôle de cet organisme dans la diffusion des résultats ? D'autant que les journalistes qui ont pu consulter l'étude avant diffusion ont du signer une déclaration de confidentialité les empêchant de consulter d'autres experts avant la levée de l'embargo. Et comme le plan média de communication était particulièrement bien orchestré avec la parution de deux livres et d'un film, beaucoup de suspicion ont été jetées sur l'étude.

Ensuite, l'équipe de recherche mérite une attention tout aussi particulière. Quelles sont ses expériences dans le secteur de recherche ? Et son niveau de compétences ? Quelle est la méthodologie qui a été développée ? Lors de l'étude française, le auteurs, Gilles-Eric Séralini et Joël Spiroux de Vendômois, sont respectivement président du conseil scientifique et président du CRIIGEN. Le risque de subjectivité est bien réel, tout comme celui de conflit d'intérêt, surtout quand le mode de financement du laboratoire est en jeu. Écrire qu'on est indépendant relève de l'allégation et ne prouve rien. Cependant, cette analyse n'est guère suffisante. Il convient aussi de s'intéresser aux détracteurs de l'étude qui la critique. Et de s'interroger sur leurs intérêts particuliers, surtout quand ils apparaissent comme des concurrents des auteurs de l'étude ou qu'ils représentent les intérêts opposés aux conclusions de l'étude. Ainsi, il n'est pas rare que des études scientifiques favorables à une technologie soient menées par les entreprises qui utilisent ces mêmes technologies. Là aussi, un conflit d'intérêt existe. Parfois même, les entreprises avancent leurs arguments de manière cachée en utilisant comme paravent un institut privé inconnu, une fédération professionnelle ou des scientifiques reconnus.

Sur le plan méthodologique, il convient de vérifier si  celle-ci répond bien aux critères de validité interne et externe. D'une part, il s'agit de vérifier que la méthodologie utilisée s'inscrit dans les usages habituels et actuels en matière d'étude et, d'autre part, que le plan de recherche a bien été suivi et fait l'objet d'une description. Il n'est pas rare de trouver des contradicteurs qui utilisent des méthodologies dépassées ou peu appropriées.

La puissance statistique et la représentativité de l'échantillon constituent des éléments clés de la recherche. Le risque est surtout présent quand le nombre d'unités statistiques testées sont éclatées en sous-groupes et que la taille de ces derniers est insuffisante. C'est souvent le cas quand le chercheur utilise puslieurs sous-groupes. Dans l'étude française, tout comme dans l'étude réalisée par Monsanto, son détracteur, le biostatisticien Marc Lavielle (Inria), membre du Haut Conseil des biotechnologies (HCB), cité par le Journal Le Monde explique qu'avec dix rats du même sexe par groupe, il faudrait des effets extrêmement massifs pour que le résultat soit significatif.. Pour détecter des effets plus subtils que ceux de l'arsenic à haute dose, il faut simplement plus de rats. C'est le même reproche que l'on peut faire à Monsanto.

La publication dans une étude à comité de lecture peu certes rassurer mais n'est pas synonyme de garantie absolue. De même que les citations et références ou les informations publiées sur la taille des échantillons.

Des locutions à interpréter

En 1957,  C. D. Graham Jr proposait, non sans humour, un décodage des expressions qui apparaissent tout au long des rapports scientifiques.

• "On sait depuis longtemps que..." = Je ne me suis pas donné la peine de chercher la référence originale.
• "Bien qu'il n'ait pas été possible d'apporter des réponses nettes à ces questions..." = Les expériences n'ont pas marché mais je me suis dit que je pourrais au moins en tirer une publication.
• "Trois des échantillons ont été choisis pour une étude détaillée" = Les résultats des autres ne signifiaient rien et ont été ignorés.
• "Les échantillons ont été abîmés pendant la préparation" = Ils sont tombés par terre.
• "Les échantillons ont été manipulés avec un soin extrême pendant les expériences" = Ils ne sont pas tombés par terre.
• "La concordance avec la courbe prédite est excellente... bonne... satisfaisante... assez bonne..." = assez bonne... médiocre... douteuse... imaginaire...
• "D'autres études seront nécessaires pour une compréhension complète" = Je n'y ai rien compris.
• "Malheureusement, aucune théorie n'a été formulée pour expliquer ces effets" = Et les autres non plus n'y comprennent rien.
• "Je remercie Bidule pour l'aide apportée dans les expériences et Machin pour les discussions précieuses que nous avons eues" = Bidule a fait les expériences et Machin les a expliquées.

 

La recherche scientifique demeure humaine et subjective

 

Mais croire que la science est objective, relève du rêve. les chercheurs sont souvent financés par des groupes d'intérêt et les accords de confidentialité sont nombreux.Le recherche est aussi menée par des êtres humains.

Renforcer sa crédibilité exige de la transparence et que le grand public et les journalistes disposent d'une culture scientifique suffisante de manière à être à même de porter un jugement de valeur sur la qualité scientifique d'une étude, sans idée préconçue. Sans doute aussi, en vérifiant si les résultats sont validés par la communauté scientifique. Car au royaume des aveugles, les borgnes sont rois.