Chers collègues,
Notre proposition de GT porte sur la reproductibilité computationnelle avec un focus sur les algorithmes state-of-the-art en apprentissage automatique.
A l’ENS Paris-Saclay notre groupe organise depuis trois ans l’atelier ML-Briefs (MLBriefs), où les participants décrivent très brièvement une méthode et l’exécutent en ligne avec l’infrastructure du journal IPOL.
Je pense qu’il y a un grand potentiel pour un groupe de travail lié à la production scientifique des ML-Briefs (bien qu’indépendant), où des aspects tels que :
- Comment évaluer la reproductibilité de nouvelles méthodes basées sur des réseaux neuronaux, où l’initialisation est aléatoire, comment décider si deux résultats numériquement différents sont équivalents ?
- Le niveau de reproductibilité des méthodes et la manière de les évaluer. Review strict ? Boîte noire ? quelle granularité ?
- Difficultés pour les auteurs de reproduire les résultats. Existe-t-il des différences avec les résultats publiés ? Comment expliquer ces différences ?
- Citation et publication du logiciel et les datasets. Comment le référencer correctement ? DOI ? refs. Zenodo ? Comment s’assurer que l’objet ne change pas ?
- Proposer des recommandations basées sur l’expérience réelle des articles de ML-Briefs. Publication de nos conclusions, si les résultats sont pertinents.
- Et outres!
Si vous êtes intéressé par ce GT, n’hésitez pas à répondre ou à me contacter directement.
Bien à vous,
Miguel
–
Miguel Colom
Enseignant-chercheur
Centre Borelli, ENS Paris-Saclay