- Marine, what is that button on your body armor?
- A peace symbol, sir.
- Where'd you get it?
- I don't remember, sir.
- What is that you've got written on your helmet?
- "Born to Kill", sir.
- You write "Born to Kill" on your helmet and you wear a peace button. What's that supposed to be, some kind of sick joke?
(...)
- I think I was trying to suggest something about the duality of man, sir.
- The what?
- The duality of man. The Jungian thing, sir.

(Full Metal Jacket)

(Bref) rappel des faits

L'AERES, c'est l'Agence chargée d'évaluer le système universitaire français. Laboratoires, universités et formations. Et l'évaluation d'un laboratoire (et, par extension, de l'université qui l'héberge) se fait par la visite d'un comité d'experts. Et l'une des choses que regarde les experts, c'est la proportion de chercheurs "publiants" dans le laboratoire. C'est facile, on fait remplir une fiche à chaque chercheur, on compte le nombre de publis, on regarde si ça dépasse un certain seuil, si oui on décide qu'il est publiant, sinon, ben non, et on divise par le nombre total de chercheurs dans le labo. Les labos sont notés en fonction de leur taux de non-publiants, et leurs crédits peuvent en dépendre (avec 99 % de publiants, vous avez plus de chance de voir la dotation du labo augmenter qu'avec 50 %...)

Les critères sont publics et simples... au moins en apparence. Il faut avoir au moins n publications de bonne qualité au cours des 4 dernières années. Avec n variable suivant la discipline et le statut (chercheur ou enseignant-chercheur). En Mathématiques, par exemple, c'est 2 articles au cours des 4 dernières années. Pour un chercheur en Chimie, c'est 4 articles au cours des 4 dernières années (et seulement 2 en 4 ans pour un enseignant-chercheur en Chimie).

Là où ça se corse, évidemment, c'est pour définir ce qu'est une publication "de bonne qualité". Là encore, c'est simple : est considérée comme une publication de bonne qualité une publication dans un journal de bonne qualité. Et on fournit la liste des journaux de bonne qualité, pour chaque discipline.

Que des critères simples, et pourtant la polémique a été assourdissante. Je ne vais pas vous faire l'histoire de l'opposition aux critères de l'AERES, mais disons qu'il y a eu discussion, et qu'elle continue. Mais aujourd'hui, je voulais donner mon opinion sur le fait même de conduire une évaluation sur ces critères.

Pourquoi la bibliométrie à la façon de l'AERES, c'est mal

D'une part, parce que les chercheurs sont des êtres humains, et les êtres humains, comme le rappellent mes économistes favoris, réagissent aux mesures et critères. Si on dit que les labos sont évalués uniquement en fonction du nombre de publication, et non de leur qualité, alors les labos vont faire du chiffre. De la quantité, au détriment de la qualité.

Ensuite, parce que les critères étaient, au départ, mal définis. On a vu que dans certaines disciplines, une conférence était considérée comme meilleure que la meilleure revue. Dans d'autres, il vaut mieux écrire un livre qu'un article. Avec les critères tels que publiés initialement, on aurait pu avoir d'excellents chercheurs considérés comme non-publiants. Depuis, les critères ont été révisés pour inclure les conférences en STIC et les ouvrages en SHS.

Ensuite, parce que le statut (publiant/non-publiant) est binaire, et que le travail à fournir pour passer la limite est connu d'avance. Si j'ai publié le bon nombre articles la première année, je peux me permettre de me reposer pendant 3 ans, sans que ça change mon statut (je reste publiant). Inversement, si j'ai plusieurs articles refusés, une fois qu'on a dépassé le temps moyen de réaction d'une revue dans mon domaine (parfois plus d'un an), ça n'est plus la peine de travailler, ça ne changera pas mon statut, je resterai non-publiant. C'est tout le problème d'un facteur binaire avec limite connue à l'avance (je vous renvoie une fois encore au livre de Maya Beauvallet, Les stratégies absurdes).

Encore, parce que seules comptent les publications dans des revues "qui sont dans la liste". Si j'ai publié 20 articles dans "la revue alsacienne de biologie moléculaire" (qui n'est pas dans la liste), ça compte comme zéro, et je suis classé en "non-publiant". Pour les revues qui ne sont pas dans la liste, c'est une catastrophe, et elles ont enregistrées une grosse baisse du nombre d'articles soumis. Pour les chercheurs qui avaient pris l'habitude de publier dans certaines revues, c'est aussi une catastrophe. Se retrouver "non-publiant" alors qu'on a 20 articles, ça fait mal au coeur.

Encore parce qu'on ne regarde que les revues, et pas l'article individuel. Un article fondateur, s'il est dans une revue qui n'est pas classée "A", ça ne compte pas. Un article très mauvais dans une bonne revue, ça compte.

Encore parce que le classement des "bonnes" revues dépend, en grand partie, de leur facteur d'impact. Et que le facteur d'impact est mesuré à partir des bases de données bibliographiques (Thomson ISI, Google scholar...). Et que ces bases de données sont notoirement incomplètes. Outre le fait que jusqu'à récemment elles ne comptaient pas les conférences (donc un article Siggraph fondateur, cité dix fois l'année suivante dans des conférences aurait eu un impact de zéro), elles oublient tous simplement plusieurs articles, et parfois des années entières de certains journaux. Une très bonne étude (qui n'est ni la première, ni la dernière sur le sujet) a été réalisée par 4 membres de la CE de l'INRIA. Se penchant sur leurs propres publications, ils ont trouvé qu'aucune des bases de données ne les indexait correctement, et surtout qu'il y avait de grandes différences entre les bases : il y a des articles indexés par Google Scholar mais pas par Thomson ISI, des articles connus de Thomson ISI mais pas de Google Scholar, etc. Dans certaines disciplines, les différences peuvent atteindre un ordre de grandeur (13 articles dans Thomson, 130 chez Google Scholar). Et on parle là d'informaticiens... Le nombre de citations enregistrés peut aussi varier de plus d'un ordre de grandeur. Dans ces conditions, le facteur d'impact d'une revue n'est pas une donnée fiable, ou alors juste le premier chiffre, et encore.

Pour la petite histoire, ces chercheurs INRIA se sont aussi penchés sur leur facteur H. Et ils ont trouvé qu'il pouvait varier de 2 (= jeune chercheur débutant) à 25 (= grand professeur respecté) pour un même chercheur, suivant la base considérée. Cette étude a été reprise et publiée... dans le livre de Maya Beauvallet, Les stratégies absurdes).

Enfin, parce que presque toutes les revues classées "A" par l'AERES sont des revues de langue anglaise. Quoi de plus normal, me direz-vous, si vous venez des sciences dures, ou si vous avez toujours publié en anglais. Ou si vous avez parcouru le vaste monde, et que vous vous êtes rendu compte que "la revue alsacienne de biologie moléculaire", en dehors de l'université qui la publie, on n'en a jamais entendu parler. Oui, mais si on n'a jamais publié en anglais, c'est très, très, difficile, la première fois. Les articles ne suivent pas forcément le même plan, il y a des codes à respecter, des références à citer que vous ne connaissez pas, etc. Et s'il n'y a personne pour vous apprendre les codes, ben vous êtes coincés. Il y a une grosse learning curve et vous êtes tout en bas.

Pourquoi la bibliométrie à la façon de l'AERES, c'est bien

Parce que, qu'on soit Enseignant-Chercheur ou Chercheur, à l'Université, on est soumis à de nombreuses pressions et charges : faire des cours, remplir des rapports, monter des formations, écrire des articles. Et que certaines de ces pressions sont fortes : si vous ne faites pas vos cours, on va s'en rendre compte. Si vous ne rendez pas votre rapport à temps à l'administration, elle va vous tomber dessus. Si vous ne remplissez pas votre demande de projet ANR à temps pour la deadline, ben vous n'aurez plus de sous pour votre recherche. La seule des charges des EC qui n'était pas soumise à une pression, jusqu'ici, c'était les publications. Qui pouvaient donc devenir le maillon faible. L'AERES vient ici rétablir l'équilibre en faveur des publications.

Ensuite parce que c'est une évaluation collective : c'est l'ensemble du laboratoire qui est menacé (de perdre son statut de A+, et les sous qui vont avec) s'il y a trop de non-publiants. Et ça, c'est très efficace. C'est ce qu'on appelle le problème des déménageurs de pianos. Si l'un des déménageurs de pianos ne fait pas sa part du boulot, les autres vont très vite s'en rendre compte, et lui expliquer délicatement que ça serait bien qu'il travaille un peu pour l'équipe. Pareil avec les non-publiants. Et depuis que les critères de l'AERES ont été rendus public (vers 2007), les effets se sont bien fait sentir : plusieurs chercheurs ont ressorti des projets d'articles qui dormaient, les ont soumis, publié, etc. Le nombre total de publications augmente. L'effet s'est également fait sentir chez les revues : plusieurs revues ont modifié leurs pratiques, augmenté leur sélectivité et leur travail d'édition, se sont mises à publier en anglais... pour pouvoir passer en "rang A". Et tout ça, c'est bon pour la recherche.

Encore parce que publier, c'est pas comme le vélo : c'est un talent qui s'entretient. Plus on publie, plus on arrive à publier facilement. Mon observation (empirique, mais pluri-disciplinaire et multi-continentale) est qu'il y a des effets de seuil : en dessous d'un certain nombre de publications par an, on n'arrive plus à se tenir au courant de ce qui se passe dans son domaine. Au dessus d'un certain nombre, on sait rapidement ce qu'il faut mettre dans l'abstract, le plan, et on libère ainsi du temps pour se focaliser sur le contenu scientifique.

Encore parce que l'AERES ne se focalise pas sur le nombre total de publications, mais sur le nombre total de publications dans des revues de rang A. Ce qui limite l'effet qualité/quantité dont je parlais au début. Ça va être dur de faire de la quantité avec des articles publiés à Siggraph.

Enfin parce que l'AERES ne fait que souligner quelques évidences : un article fondateur, s'il est publié dans "la revue alsacienne de biologie moléculaire", il ne sera jamais lu. Il l'aurait peut-être été il y a 50 ans, ou même 30 ans, quand il y avait moins de revues et moins de publications, mais de nos jour, il ne sera jamais lu. Donc le publier dans la RABM, c'est du gâchis. Et en donnant un petit coup de pouce, l'AERES va pousser à ce que des articles fondateurs soient publiés dans des revues où ils seront lus, et augmenter l'impact scientifique, le vrai, de la recherche française.