Tout le monde, j'imagine, sait ce que c'est qu'un "Facteur d'Impact". L'équivalent de la longueur du... nez dans les journaux scientifiques, celui qu'il faut absolument avoir plus grand que le voisin. Les grands journaux publient leur "IF" sur leurs pages de publicité. Ainsi, personne ne peut ignorer que le facteur d'impact de Nature est de 31.434, et que celui de Science est de 28.103. Ce ne sont d'ailleurs pas les plus gros, le record est détenu par "CA, a Cancer journal for clinicians", avec 74.575, excusez du peu.

Un peu moins de monde, mais quand même beaucoup de gens, savent que la formule pour calculer un Impact Factor est A/B, avec A = nombre de citations pendant l'année N des articles parus les années N-1 et N-2, et B = nombre d'articles citables, donc nombre d'articles parus pendant les années N-1 et N-2.

Bien, maintenant prenons un domaine disciplinaire que je connais bien, mais qui restera anonyme, parce que son nom n'apporterait rien à l'affaire. Prenons les principaux journaux du domaine (qui eux aussi resteront anonymes). En 2002, environ, la hiérarchie s'établissait comme suit :

  • CG&A : 1.193
  • TOG : 1.048
  • CGF : 0.563
  • CAVW : 0.271

On voit que le nombre de citations indexées est nettement en dessous des valeurs pour Nature et Science. Mais ça n'est pas ce qui m'intéresse. Supposons que vous vous intéressiez à la valeur des journaux, et que vous soyiez légèrement surpris parce que les données quantitatives ne correspondent pas à votre impression qualitative, à savoir que TOG est quand même nettement au dessus de CG&A (le reste de la hiérarchie parait correct). Pour mener l'enquête, ISI vous permet d'accéder aux données des années précédentes (mais sans remonter le temps plus de 3 ans, tout de même). Et voilà ce que vous trouvez:

Autrement dit, la hiérarchie quantitative et l'impression qualitative correspondent, sauf en 2002. C'est bizarre, quand même, non ? Si on se repose la question en 2003, voilà la courbe qu'on obtient :

TOG est remonté d'un cran (c'est quand même impressionnant, ce passage du double au simple, puis à nouveau du simple au double en deux ans, hein ?). CG&A a suivi, mais cette fois-ci, il est bien un cran en dessous. Plus tard encore, en 2005, les positions ressemblaient à ceci :

TOG taquine maintenant les 4, soit un triplement du facteur d'impact en 3 ans. Le reste des journaux se trouve aux alentours du 1, ce qui donne un peu l'impression qu'il y TOG, et puis il y a les autres. Et maintenant, en 2009, les courbes sont celles-ci :

On y voit un nouveau venu, TVCG, que j'avais oublié de prendre en compte les années précédentes (honte à moi). On y voit que 2005 correspond plus à un incident de parcours, et que la hiérarchie en 2006-2007 est du genre : "un gros" (TOG), "trois moyens" (TVCG, CG&A, CGF) et "un petit" (CAVW). On y voit que TOG baisse un peu en 2007, et que la hiérarchie est à nouveau bouleversée en 2008.

Maintenant, prenons un peu de recul et observons ces courbes avec l'oeil du scientifique exercé à trouver les erreurs dans les données de ses étudiants. Avant d'observer les variations classiques (croissance, décroissance...), deux outliers nous sautent aux yeux : TOG en 2002, CAVW en 2005. Dans un cas une division par deux du facteur d'impact, dans l'autre un doublement. Dans les deux cas, le phénomène ne dure qu'un an, et les choses reviennent à la normale l'année d'après.

Que s'est-il donc passé ? C'est là que mes journaux vont un peu cesser d'être anonymes. En 2000 et 2001, TOG publiait 10 articles par an. En 2002, il a publié 80. Comment un journal peut-il avoir une multiplication par 8 du nombre d'article publiés en une année, allez-vous demander ? Simple. En 2002, TOG a signé un accord avec Siggraph, pour publier les proceedings de Siggraph comme le numéro 3 de la revue. Et les 67 articles publiés à Siggraph sont venus s'ajouter aux 13 articles "normaux" de la revue...

Alors, évidemment, le diviseur évolue "un peu", dans des conditions pareilles. Et pour CAVW, me direz-vous ? en 2005, le journal a changé de nom. Il semblerait que ça ait eu pour conséquence une réduction du diviseur, et que la première année, le facteur d'impact ait été doublé.

Mais pourquoi ? Logiquement, la formule donnée par ISI tient compte du nombre d'articles "citables", donc une variation du nombre d'article publiés ne devrait pas avoir d'impact. En pratique, très peu d'articles sont cités l'année qui suit leur parution, et beaucoup plus le sont deux ans après. Donc la première année d'un gros changement de volume, on peut s'attendre à une baisse sensible du facteur d'impact. Ensuite, pourquoi TOG continue-t-il à grimper pendant les années qui suivent 2002? Probablement parce que les citations incluent maintenant les articles Siggraph (ce qu'elles ne faisaient pas auparavant), ce qui augment le volume d'articles "citeurs". Ce qui se passe en 2007-2008 est plus compliqué à expliquer. J'attends avec impatience les chiffres de 2009 pour faire l'analyse.

Juste pour vous donner les données factuelles, en 2008, d'une part CGF a augmenté le nombre d'articles publiés (un triplement, passant de 73 à 225 ; le triplement vient de ce que cinq nouvelles conférences sont publiées comme des numéros de la revue). D'autre part ISI a augmenté le nombre d'articles "citeurs" en incluant les articles de plusieurs conférences (y compris celles qui sont maintenant publiées dans CGF...). À première vue, l'augmentation des articles "citeurs" a dépassé l'augmentation du nombre d'articles citables. Mais l'expérience montre surtout qu'il est périlleux de faire des jugements sur l'impact factor en se basant uniquement sur les chiffres d'une seule année...