Les Universités françaises qui publient (updated)

Par Nicolas Holzschuch, vendredi 5 juin 2009 à 14:38 :: Université :: #171 :: rss

(moi aussi, je sais faire un classement de Shanghaï...)

Update: J'ai mis le billet hors-ligne, et je l'ai ré-écrit entièrement. Après un peu plus de recherches, un certain nombre de données se sont révélées erronées (dans un sens ou dans l'autre).

Soit une question simple : "quelles sont les meilleures Universités (et Grandes Écoles) françaises en matière de recherche ?".

Une première réponse pourrait être : "ben, t'as qu'à regarder le classement de Shanghaï, ou celui du Times Higher Education Supplement". Elle a l'avantage de la facilité. Elle a l'inconvénient qu'elle confond plusieurs choses. Ces deux classements mélangent des notes sur la formation et des notes sur l'éducation, et pour le THES des notes sur la réputation auprès des collègues. Je n'aurai donc pas la réponse à la question posée, mais à une autre.

Si je décide, pour un instant, d'oublier les nombreuses polémiques sur la bibliométrie et sur les bases bibliographiques, et de prendre comme élément de mesure "le nombre de publications dans ISI", je peux obtenir un début de réponse. Mais ISI ne me donne pas la réponse à la question : "combien de papiers sont publiés par l'Université X", elle me donne la réponse à la question : "combien de papiers sont publiés, dont un des auteurs a listé comme affiliation un laboratoire dont une des tutelles est l'Université X". Ce qui n'est pas tout à fait pareil. Par le jeu des laboratoires multi-tutelles, une université peut très bien "profiter" des travaux de recherche d'une université voisine (phénomène du coucou, ou du passager clandestin).

D'autre part, les universités apparaissent sous de nombreux noms, et les grandes écoles encore plus. Il faut soigneusement affiner ses recherches dans ISI pour obtenir des réponses, pas exactes, mais s'approchant sans doute de la vérité. J'estime (à vue de nez) la marge d'erreur d'ISI à 200 publications en plus ou en moins, ce qui veut dire que les trois-quarts du tableau sont dans l'épaisseur du trait... Pour simplifier, j'ai regroupé toutes les universités d'une même ville ("Univ SAME Lyon", ce qui permet d'avoir toutes les réponses du type Lyon Univ, Univ Lyon et Univ qqch Lyon, mais qui ne permet pas de distinguer les différentes universités entre elles...) Compte-tenu du biais d'ISI en faveur des sciences, le chiffre est pour l'essentiel (95 % dans certains cas) celui des publications de l'Université scientifique du campus.

Les grandes écoles m'ont posé encore plus de soucis. ISI tronque certains noms (mais pas tous). Chercher "Ecole Polytechnique" ne donne qu'une petite dizaine de publis... "Ecole Polytech" en donne plusieurs milliers... mais elles viennent presque toutes de l'EPFL. La requête était finalement du style (Ecole Polytech* SAME Palaiseau). Pour l'ENS, c'est (Ecole Normal* Super* SAME Paris) OR (ENS SAME Paris)...

Bref, la courbe :

En rouge, les universités de la région parisiennes, y compris Evry, Cergy et Versaille-St-Quentin. En bleu, les Grandes Écoles. En vert, les universités de province. J'ai restreint les recherches aux publications de l'année 2008 (ce qui donne une mesure de l'activité sur une année donnée).

On voit bien plusieurs choses :

la présence écrasante de l'UPMC / Paris 6...
la forte présence de Paris 5, Paris 11 et Paris 7...
plusieurs gros pôles universitaires de province, qui sont tout à fait sérieux et visibles à l'international.
pas de grosse surprise sur ce point : ces pôles sont ceux qu'on s'attendait à trouver, à peu près dans l'ordre attendu.
Entre 2 et 5 Grandes Écoles (suivant qu'on veut être gentil ou pas) qui font un travail de recherche sérieux, visible à l'international.

Le classement basé sur les publications d'une année (2008) permet de mesurer l'activité récente (pour éviter un "effet mémoire"). Mais il rend le classement éminemment volatil : d'une année à l'autre, le nombre de publications d'une université peut varier facilement de ±10 %, ce qui modifierait substantiellement le classement (de plus de 5 places dans certains cas).

Je pense qu'il me manque encore des Grandes Écoles. Mes données contiennent toutes les Universités françaises (mais c'est plus facile, surtout en regroupant les campus des grandes villes), mais peu d'Écoles. Cette partie de la recherche est assez vite déprimante, quand on réalise le très grand nombre de Grandes Écoles, puis à quel point un petit nombre d'entre elles apparaissent sur ISI de façon significative... J'ai pris les plus célèbres (souvent parisiennes), j'ai tenté plusieurs orthographes, j'ai cherché un professeur publiant sur leur site web, cherché ses publications à lui, pour voir comment on orthographiait son École, recommencé... Il n'empêche, une École très publiante a pu m'échapper... Je lance un appel à la sagacité de mes lecteurs : donnez-moi des noms, trouvez-moi les Écoles que j'ai oublié.

D'autres informations sont apparues en faisant le classement : dans certaines universités, la moitié des publications mentionnent "Lyon Univ", et l'autre moitié "Univ Lyon". Une requête (Univ SAME Lyon) couvre les deux possibilités. Et me donne une autre mesure : le degré d'internationalisation d'une université (dans les mentalités, en tout cas). Plusieurs universités ont vu leur nombre de publications grimper significativement, ce qui veut dire qu'une grosse partie des chercheurs y pensent en anglais. Et d'autres n'ont absolument pas bougé...

J'aurais voulu pouvoir ramener ces chiffres au nombre d'enseignants-chercheurs dans les universités, mais c'est très difficile. D'une part, les universités ne donnent pas toutes le nombre d'enseignants-chercheurs, et toutes ne le mesurent pas de la même manière (que les EC, EC+C, EC+PRAG, EC+PRAG+ATER...) Ensuite, le nombre d'EC ne dit pas tout ; par exemple, si une université a 50 EC, mais qu'elle fait faire tous les cours par des vacataires extérieurs, ces 50 EC ont une charge de cours réduite, ce qui les libère pour faire plus de recherche.

Je regrette clairement de ne pas pouvoir chiffrer la contribution de chaque université à une publication. Le CNRS a 29158 publications pour 2008 dans ISI, ce qui veut seulement dire qu'il y a 29158 publications dont un auteur appartient à un labo CNRS (ce qui est le cas de presque tout le monde). Mais si le CNRS n'a fourni aucun crédit ni aucun salaire, peut-on vraiment le compter comme contributeur? HAL prévoit pour chaque auteur le nom de son employeur, en plus du nom du laboratoire, mais 1) presque personne ne remplit ce champ et 2) le moteur de recherche de HAL est buggé sur ce champ précis.

À votre tour, je vous laisse dire ce que vous voyez dans ce graphique... (et en plus, comme je fais de la bibliométrie de bas étage, je vais m'attirer un commentaire d'Enro qui ne sera pas piqué des vers...)

Trackbacks

Aucun trackback.

Les trackbacks pour ce billet sont fermés.

Commentaires

1. Le vendredi 5 juin 2009 à 17:43, par mixlamalice

Le classement de Paristech me semble bizarre car rien qu'avec l'ESPCI (un des 7-8 membres avec l'X, Agro, Mines, Telecom, ENSTA, Arts et Métiers etc), j'arrive à 320 publis sur ISI pour l'année 2008...

2. Le vendredi 5 juin 2009 à 19:15, par N. Holzschuch

Ah, ça... C'est le problème classique de ce genre de classement. On n'accède qu'aux données qui sont rentrées dans ISI, lesquelles sont souvent mal renseignées. Comme la donnée chiffrée est "nombre de publis dont au moins un auteur est dans un labo dont une tutelle est l'université X", il est impossible de faire des additions (les 40 publis de l'université X et les 50 publis de l'institut Y sont souvent 60 publis au total, parce que 30 publis ont un auteur de X et un auteur de Y... Eh, je fais du Bayesien).

Donc l'ESPCI a bien 318 publis, ce qui la place un peu après l'INPG, entre les Universités de Reims et de Picardie. Mais une partie des publis de l'ESPCI seulement mentionnent ParisTech (la moitié, environ). Ce qui est un problème classique des regroupements : convaincre les habitués de changer le nom mentionné sur les publis. Ce qui veut dire abandonner ESPCI, avec toute sa charge émotionnelle et la reconnaissance historique (c'est l'école des Curie, quand même !). Pas facile. A priori, Telecom et les Mines jouent plus le jeu (ce qui veut aussi dire qu'ils ont plus à gagner dans le nouveau nom, et que l'ESPCI a plus à perdre...)

De ce point de vue là, les poles qui regroupent plusieurs universités de la même ville s'en tirent mieux : abandonner "Université Lyon 1" pour devenir "Université de Lyon", c'est pas un drame. Double bénéfice : une Université comme "l'Université Claude Bernard - Lyon 1" pouvait apparaître sous 23 noms différents dans ISI (UCBL, UCB Lyon 1, UCB, Lyon 1...). Avec le nouveau pôle, elle n'apparaît plus que sous "Univ Lyon", plus simple (et une recherche sur le nouveau nom retourne aussi les publis qui ont gardé l'ancien nom, ils sont forts...)

ISI désavantage aussi les écoles parce que trouver le sigle attaché à une école n'est pas simple. "Ecole Polytech" m'a renvoyé surtout des publis de l'EPFL. "Ecole Polytech Palaiseau" ne renvoie rien "en trop", mais peut-être en ai-je manqué ? Le problème se pose à chaque fois. Elles ne sont pas les seules à poser problème : l'Université de Dijon a 21 publis dans ISI. Heureusement, l'Université de Bourgogne (c'est le nouveau nom) en a 614...

3. Le dimanche 7 juin 2009 à 23:57, par mixlamalice

Le site de Paris 6 mentionne environ 3500 chercheurs ou enseignants-chercheurs. Pour parler de ce que je connais, l'ESPCI compte il me semble dans les 300 chercheurs (difficile d'être précis, tout ce que je sais c'est qu'il y a 18 labos, que le labo le plus gros compte environ 35 chercheurs mais que certains labos en coma prolongé en comptent à peu près 5: si on situe la moyenne à 15-20, ça donne bien dans les 300). La encore, pour comparer, c'est pas facile dans la mesure ou pour chaque labo, il y a à chaque fois des chercheurs Paris 6 (ou Paris 7), des chercheurs ESPCI, des chercheurs CNRS... Du coup, dans ton graphe il y a sûrement beaucoup de papiers comptés n fois (le phénomène doit se reproduire pour pas mal de grandes écoles-facs adjacentes). L'ENS Paris compte 800 chercheurs ou enseignants-chercheurs, Orsay (paris 11) 2500, l'X 600. Bref dans ces cinq exemples là, on est en gros à une constante 1 chercheur ~ 1,3 publi/an (plus ou moins 0,2, pas si mal sur 5 exemples avec les incertitudes sur à peu près tout).

Par contre, l'INPG elle compte 1000 chercheurs, l'Université de Bourgogne 1500, donc la constante dite de mixlamalice (qui finalement a pas l'air si con que ça, la constante hein) tombe dans les 0,4.
Tu devrais regarder l'Institut Curie et ENSCP (Chimie Pourrie).

Après, de ce que je vois aux US les gens ne sont pas préoccupés du tout par le classement de Shangaï (en tout cas personne n'en a jamais fait mention devant moi ici). A mon avis, c'est parce que hormis la dizaine de facs mondialement reconnues, il y a aux US moultitudes de facs globalement "moyennes" mais avec des supers départements de recherche dans un domaine x ou y. Bref, les gens raisonnent plus (pour la recherche et les grad schools en tout cas) en terme de département qu'en terme de fac. Le département ou je suis est par exemple reconnu comme l'un des dix meilleurs du domaine aux US, il y a un ou deux autres départements très bons dans des domaines voisins, le reste oscille entre le moyen et le médiocre... (en gros les trois départements bien côtés suffisent à faire apparaître la fac dans le classement de Shangaï aux alentours de la 50ème place).

4. Le lundi 8 juin 2009 à 09:03, par N. Holzschuch

Merci pour les chiffres pour l'ESPCI. C'est vraiment une des écoles les plus secrètes, avec un site web encore très Web 1.0, et aucune mention du nombre de chercheurs.

Ensuite, oui, c'est vrai qu'il y a des publis comptées plusieurs fois. C'est inévitable avec la structure française en laboratoires communs. Les grandes restructurations au CNRS ont un peu simplifié la donne, géographiquement : il n'y a plus (presque ?) de laboratoires communs à des universités éloignées, genre Bordeaux-Marseille ; les labos de Grenoble regroupent plusieurs universités, mais elles sont toutes de Grenoble. À Paris, plusieurs laboratoires de physique sont communs Paris 6 / ENS, ce qui doit bien aider les deux institutions ; pareil entre Paris 11 et l'X.

Ensuite, un chiffre de plus d'une publi par EC par an me parait une moyenne honorable. Je suis déçu par le faible score de l'INPG (mais pas forcément étonné). Comme ISI est très fortement biaisé en faveur de physique-chimie-biologie, le score d'une université pluridisciplinaire comme l'Université de Lyon devrait être bien inférieur, évidemment.

5. Le lundi 8 juin 2009 à 09:15, par N. Holzschuch

Pour l'ENS, la disparité des données devient caricaturale : si je ne compte que les EC, ils sont 310, la "Constante de Mix" explose à presque 3. Si j'ajoute tous les EC, chercheurs, post-docs (800), professeurs invités et post-docs étrangers (200), ça fait 1000, la CdM redescend à 1.0...

Non, attends, les EC permanents de l'ENS proprement dite ne sont que sont 48 profs et 68 MCF. La CdM est à 8,78. Même si j'ajoute les 60 agrégés-préparateurs, la CdM est à 5,78.

6. Le lundi 8 juin 2009 à 09:29, par N. Holzschuch

Institut Curie : 490 publis en 2008 (ce qui le mettrait à la 28e place, mais ça n'est pas une université... Et la CdM est pas terrible, aux alentours de 0,6).

ENSCP : 133 publis en 2008. L'épaisseur du trait. Entre Toulon et Valenciennes.

7. Le lundi 8 juin 2009 à 15:21, par mixlamalice

Oui, pour l'ENS c'est un peu la même chose que pour l'ESPCI: si à PC tu ne comptes que les MdC et Prof. PC, tu dois atteindre à peine la cinquantaine, donc la CdM est énorme. Après, si tu comptes les chercheurs qui bossent aux labos de PC (CNRS+P6+P7), tu obtiens le chiffre que j'ai donné (grosso merdo 300). Pour l'ENS Paris, j'ai pris le chiffre qu'ils donnent ici: http://www.ens.fr/spip.php?rubrique57, qui est l'équivalent des 300 de PC (un chiffre "tout compris", qui va donc causer des doublons dans le comptage des publis mais bon...). Pour Curie, ils mentionnent 850 personnes mais la ca comprend les étudiants et personnels ingénieurs, le chiffre de chercheurs et enseignants-chercheurs doit être grosso modo divisé par deux, ce qui donne 1.2 également Il semble qu'on peut distinguer, en sciences dures, deux types d'établissement: ceux à CdM>1, ceux à CdM <0.5.

On se fait un petit papier à la Hirsh?

8. Le lundi 8 juin 2009 à 16:36, par N. Holzschuch

Pour l'ENS, il y a des chiffres affinés ici : http://www.ens.fr/spip.php?article7

En y réfléchissant, l'ENS est un cas très particulier, surtout celle de Paris. Dans une école d'ingénieur "normale", comme l'INPG, la charge qui pèse sur les EC est très lourde, plutôt plus que dans une université : il y a toujours les 192 heures de présence, mais il y a aussi plus de suivi des étudiants, plus de projets, et plus de présence sur les salons de l'étudiant. Alors que les professeurs de l'ENS font plutôt peu de cours (sauf la prépa agreg) : les étudiants suivent des cours à la fac, et il y a beaucoup d'intervenants extérieurs.

Toujours en y réfléchissant, je pense que le chiffre significatif est "les employés de l'école", donc EC, agrégés-préparateurs et ATER si ils sont donnés. Le reste, les chercheurs affectés par le CNRS, les professeurs invités, les intervenants extérieurs, c'est une mesure des conditions de travail offertes par l'institution (liées à son prestige, ses finances, etc). Mais une courbe significative devrait sans doute inclure les moustaches (error-bars).

Si tu veux faire un papier à la Hirsch, il faut étendre à l'international... et réfléchir au dénominateur (comment compter les intervenants en LSH, alors qu'ils n'interviennent pas au numérateur ?). Le fait de ne pas arriver à trouver Sciences-Po m'embête... Ai-je accès à autre chose que Thomson ISI ?

9. Le lundi 8 juin 2009 à 16:50, par mixlamalice

Je pense plutôt qu'il faut compter tous les chercheurs qui bossent dans un labo affilié à une grande école (surtout les grandes écoles parisiennes, ENS comprise, qui comme elles sont petites, ont souvent dans leurs labos une proportion gigantesque de personnels "détachés" des facs avoisinantes): dans un labo de l'ENS ou de PC ou à peine 1/4 du personnel chercheur est affilié ENS ou PC, difficile de dire que la production totale du labo est due a ces membres la seulement... c'est pour ça que la plupart de ces labos sont des unités mixtes (école-fac-cnrs). Tu peux toujours arguer ensuite qu'en ce qui concerne les fac énormes, les doublons sont dans le bruit de toute façon (à 1 papier par chercheur, s'il y a quelques centaines de chercheurs P6 affiliés ailleurs, ça n'influe pas beaucoup sur le score de P6)

Pour le papier, je pensais plus à un truc facile à comprendre pour les sarkozystes, bien franco-français, genre regardez ces 10 universités et écoles là sont bien, ces 50 là sont nazes. Je pense que ça peut booster nos carrières, surtout qu'Allègre est mal barré maintenant, il faut lui trouver un ou des remplaçants.

10. Le lundi 8 juin 2009 à 16:53, par mixlamalice

Pour sciences po, j'ai trouvé 4 papiers en tapant "iep same paris", je sais pas s'il y a une autre dénomination. 170 chercheurs et enseignants-chercheurs d'après le site web. Je suis malheureusement pas abonné à Scopus.

Ajouter un commentaire

Les commentaires pour ce billet sont fermés.

Une odyssée à Ithaca