Une fois de plus, l'actualité vient interrompre la rédaction de billets...

Il s'agit aujourd'hui du financement de la recherche. À moins de vivre dans une splendide isolation, vous avez du entendre parler de l'ANR, qui a introduit en France le principe du financement par projet, comme la NSF, le NIH, la DFG... Vous avez probablement même entendu dire un peu de mal de cette nouvelle institution. Moi-même, ça m'arrive, parfois.

En même temps, comme l'a fait remarquer JF, il faut bien distribuer l'argent, et demander aux gens d'écrire ce qu'ils comptent en faire avant de le leur donner n'est pas forcément idiot. Et dans les critiques de l'ANR, il faut distinguer le structurel du conjoncturel (le structurel, ça voudrait dire que le fait même de distribuer de l'argent par projet est mal, le conjoncturel, ça veut dire que le processus de review est, disons, améliorable).

Mais tout système de review a ses défauts, et celui qui est en place chez nos voisins anglais n'échappe pas à la polémique. Un autre type de polémique, cependant. Pour redonner le contexte, il faut se rappeler qu'il n'y a pas de limites au nombre de projets qu'on peut soumettre. Comme en plus le processus comporte toujours une part d'aléatoire, soumettre beaucoup de projets augmente les chances d'acceptation. Ça n'est pas linéaire, bien sûr : 10 projets de qualité moyenne n'ont pas 10 fois plus de chance d'être accepté qu'un seul. Mais parfois plus qu'un projet de bonne qualité. Surtout si le processus de review n'est pas parfait, et que la note du projet dépend un peu du hasard.

Empiriquement, on voit deux genres de comportement : certains soumettent peu de projets, en essayant de soigner le contenu, d'autres envoient beaucoup plus de projets, sans attention au contenu. À l'autre bout, dans l'agence de financement, il y a aussi deux comportements possibles : 1) c'est comme ça, on laisse faire, ou bien 2) c'est pas notre rôle, et ça diminue la qualité globale des projets retenus (ceci en supposant que l'agence de financement prenne son rôle à cœur, et qu'elle veuille favoriser la recherche fondamentale).

À partir d'un certain seuil, la quantité de projets envoyés peut finir par engorger l'agence (et a un impact sur la qualité du processus de review, quelque chose auquel je tiens).

Pour éviter cet écueil, l'ERC a prévu depuis sa fondation que si vous envoyez une proposition et qu'elle est jugée en dessous d'un critère de qualité, alors vous ne pouvez pas recandidater pendant un an. Notez bien qu'il y a deux seuils de qualité pour la sélection : un seuil au dessus duquel votre proposition est évaluée sérieusement et classée (mais pas forcément financée, ça dépend du budget), et un seuil en dessous duquel non seulement votre proposition est rejetée, mais en plus vous êtes exclus pour un an.

Cette année, l'EPSRC (agence anglaise de financement de projets de recherche en Physique et Chimie) a pris une mesure moins drastique, mais plus contestée : si sur 24 mois, vous avez soumis trois propositions qui ont toutes les trois été classées dans "the bottom 50 %", alors vous entrez en purgatoire : vous n'avez plus droit qu'à une seule proposition sur les 12 prochains mois. Cette proposition a été vigoureusement contestée (notamment sur Twitter, mais aussi dans les labos anglais), et j'ouvre ce billet en partie pour permettre aux gens d'exprimer leurs arguments sur plus de 140 caractères. Nature a pris position dans un éditorial (ils sont pour, et ils en profitent pour donner un contexte historique).

Il me parait clair que ça ne peut être qu'une mesure transitoire : si on enlève systématiquement les 50 % du bas, on a une suite géométrique, et à un moment il ne reste plus qu'un scientifique qui a le droit de soumettre. Mais la mesure permet de réduire le nombre de soumissions et d'augmenter la qualité des projets retenus, je suis pour. L'EPSRC a bien dit qu'il s'agissait de mesures temporaires, qui seraient revues en fonction de leurs résultats.