Le processus de sélection à Siggraph fonctionne, sous une forme ou une autre, depuis plus de 25 ans. Avec le temps, il est très rodé, et fonctionne comme une mécanique bien huilée. Il y a bien eu quelques modifications au fil du temps (j'en parlerai), mais le gros du processus reste assez stable.

Deux points fixes pour encadrer le processus :

  • 21 janvier (±2 jours), deadline de soumission.
  • 31 juillet (± 7 jours), conférence Siggraph.

Ces deux contraintes en entrainent d'autres, en cascade. Le jour de la conférence, les participants reçoivent les proceedings. Et pas un truc tiré à la photocopieuse du coin, non, du gros offest industriel, relié, sur papier glacé. La version finale des articles doit donc être fournie le 7 mai (± 3 jours), ce qui laisse le temps à l'ACM Siggraph (le Spécial Interest Group on Graphics de l'Association for Computer Machinery) de vérifier chaque article, ajouter les numéros de page et le petit copyright de la page 1, avant de transmettre le fichier à un imprimeur professionnel.

Donc, je résume : le 21 janvier, j'envoie un article. Le 7 mai, soit en gros 100 jours plus tard, il doit être complet, amendé, corrigé et prêt à être publié. Qu'est-ce qui s'est passé entre ces deux dates ?

  • Le lendemain de la soumission, le chairman, aidé par deux-trois "anciens" du comité répartit les quelques 400 articles soumis entre les différents membres du comité. Chaque membre du comité reçoit une vingtaine d'articles, et chaque article est relu par deux membres du comité, le Primary et le Secondary. Les membres du comité connaissent les auteurs des articles, mais les auteurs des articles ne connaissent évidemment pas les membres du comité en charge de leurs papiers.
  • Dans la semaine qui suit, les membres du comité recrutent des rapporteurs supplémentaires pour leurs articles, les Tertiary reviewers. Ces tertiary ne connaissent pas les auteurs des articles, et pratiquent donc une revue en double aveugle. Il y en a au moins trois (le primary doit en trouver deux, et le secondary un).
  • À J+10, environ, chaque article a donc 5 reviewers (le processus prend un certain temps parce que certains tertiary pressentis doivent se désister, il faut en trouver d'autres pour les remplacer, etc). Ces reviewers ont jusqu'au 15 mars (±2 jours) pour rendre leur review, soit 43 jours. À tout moment, les membres du comité peuvent décider d'ajouter un reviewer sur un article (parce qu'on n'arrive pas à un consensus, par exemple).
  • Aucun des reviewers ne doit être en conflit avec les auteurs des articles qu'il reviewe, et "conflit" est interprété de façon très large. Compte-tenu de l'importance de Siggraph pour la science et pour la carrière des gens, le principe qui sous-tend tout est que le processus de review, comme la femme de César, ne doit même pas pouvoir être soupçonné. Il est évident que vous ne reviewez pas des gens qui sont de la même Université que vous, mais aussi du même Institut. En France, par exemple, un chercheur qui est dans un centre de recherche INRIA ne peut pas reviewer un article dont un des auteurs travaille dans un centre de recherche INRIA, même s'il y a 800 km de distance entre les deux. Le fait d'avoir été co-auteurs d'un article vous met également en conflit, pour une durée limitée (5 ans). Naturellement, les relations entre directeur et thèsard vous mettent aussi en conflit, cette fois-ci à vie. Enfin, de façon plus large, si vous avez un intérêt à ce que l'article passe ou soit rejeté, vous êtes aussi en conflit. Vous devez non seulement être objectif, il faut en plus que personne ne puisse croire que vous aviez intérêt à ne pas l'être. Par exemple, si vous avez vous même soumis un article sur le même sujet à Siggraph cette année là, vous êtes en conflit.
  • Ce système des conflits est traité de façon très professionnelle par le Siggraph committee. Je ne saurais pas dire s'il est traité avec autant de sérieux parce que Siggraph a autant d'importance, ou si Siggraph a pris autant d'importance précisément parce que les conflits d'intérêts sont évités aussi systématiquement.
  • Le 15 mars, donc, toutes les reviews sont arrivées. On passe alors dans la phase du Rebuttal: les reviews, avec les notes, sont transmises aux auteurs des articles. Ceux-ci ont alors 4 jours (du lundi 9h au vendredi 9h) pour corriger des erreurs factuelles dans les reviews, ou expliquer un point essentiel mal compris des reviewers. Cette réponse doit faire 2000 mots maximum. Il s'agit donc d'être brefs, clairs et concis. Pas la peine de rentrer dans une longue discussion philosphique sur les intérêts comparés de l'approche quantitative en simulation des escargots à la moutarde, alors que le reviewer numéro 3 est clairement un fanatique de l'approche qualitative. En revanche, si le reviewer numéro 2 dit que votre algorithme ne peut pas servir pour la simulation des marées dans le Lac Léman, alors que vous avez clairement montré dans la section "Résultats" une application à la simulation des marées sur le lac d'Annecy, vous pouvez expliquer que, d'une part vous "remerciez les rapporteurs pour leurs critiques constructives", et d'autre part il vous semble que "vous avez répondu par avance à l'objection du rapporteur, en effectuant des calculs sur un lac de plus petite taille". C'est un exercice extrèmement périlleux : il faut éviter d'insulter les reviewers, ou de les fâcher. En même temps, s'ils se sont trompés et que cette erreur peut avoir une influence sur le sort de l'article, il ne faut pas hésiter à le dire.
  • Le 20 mars, fin de la phase de "Rebuttal", début de la "Discussion". Les 5 (ou plus) reviewers d'un article discuttent dans un forum électronique du sort de chaque papier, en se basant sur les 5 reviews et sur le contenu du rebuttal. Cette discussion électronique inclue donc les Tertiary, mais elle se fait avec une certaine lenteur. Le but est d'arriver à un consensus sur un maximum de papiers. À nouveau, les membres du Comité peuvent décider d'ajouter un rapporteur si un consensus n'arrive pas à se dégager (dans cette phase, c'est un membre du Comité qu'on prendra).
  • Du 3 au 5 avril, réunion du Comité. C'est la partie la plus spectaculaire du processus de décision, et c'est là que tout se joue. Réunis dans un grand hôtel aux frais de l'ACM Siggraph, les membres du Comité discutent du sort de chaque article, en partant du haut (les articles sont triés soit par leur note médiane, soit par leur moyenne sur les notes des Tertiary). Ceux pour lesquels les 5 reviewers ne sont pas d'accord sont discutés par tout le Comité... moins ceux qui sont en conflit.
  • ...Car le système de gestion des conflits continue à fonctionner lors de la réunion du Comité. Dès qu'on commence à discuter d'un article, un grand écran indique tous les membres qui sont en conflit. Ceux-ci doivent quitter la salle (pour certains papiers, il arrive qu'un tiers du comité doive sortir). Une fois qu'ils sont sortis, on annonce le nom du Primary, qui explique en quoi consiste le papier, et ce qu'on doit en faire selon les rapporteurs.
  • Tant que la réunion du Comité n'est pas terminé, aucune décision n'est finale. À tout moment, on peut revenir sur un article, lui ajouter un reviewer, le rediscuter et changer son sort. Dans un sens ou dans l'autre.
  • Un point important est que, bien que ce soit une conférence, le mot d'ordre est "qualité". Le principe est que tout article qui a le niveau pour être publié à Siggraph sera publié à Siggraph. Dit autrement, ça n'est pas un concours, c'est un examen. Le nombre d'articles n'est pas fixé à l'avance, mais dépend uniquement de la décision du Comité. Dans la pratique, le taux de sélection oscille autour de 20 % depuis 20 ans, et donc le nombre d'articles acceptés augmente chaque année.
  • Une fois que la réunion est ajournée, les décisions sont finales, et sont signifiées aux auteurs par mail, le 6 avril. Suivant les cas, ce mail commence par "We are pleased to inform you..." ou "We regret to inform you...". Peu importent les raisons, ce jour là, la seule chose qui compte, c'est ces premiers mots. Il m'est arrivé de ne pas lire la suite du mail pendant plusieurs heures, le temps de (finir une danse de la joie dans mon bureau / m'abrutir de travail pour oublier la rage qui m'avait pris). Une fois qu'on est calmé, on reprend la lecture, qui inclut les reviews (qui ont été modifiées depuis le rebuttal, preuve que le rebuttal a été lu, et qui incluent les rapporteurs supplémentaires) et la liste des changements à apporter à l'article avant la version finale. Version finale qui, on l'a vu, devra être fournie pour le 7 mai. Vous avez un mois pour ajouter une comparaison avec la méthode Rusty-Erkalm, des données chiffrées et 17 références bibliographiques supplémentaires, le tout naturellement sans augmenter le nombre de pages de l'article.
  • Vu la charge émotionnelle que représentent ces décisions, la plupart des auteurs s'arrangent pour avoir l'information "en avant-première". Il suffit pour cela d'avoir un ami dans le Comité, qui vous envoie un e-mail discret après la réunion. Ça n'est pas si simple : d'une part, si c'est un ami, il est probablement en conflit, donc il sort pendant la discussion, d'autre part la liste des articles qu'il doit surveiller est souvent très longue, et il peut en rater quelques uns.