Des chercheurs ont présenté EDB-Bio, un benchmark constitué à partir d’études publiées dans trois domaines de la biologie, afin de vérifier si des modèles de langage peuvent évaluer les preuves à l’appui d’hypothèses scientifiques. Lors de leurs tests, les modèles non entraînés manquaient systématiquement de confiance et obtenaient des résultats comparables à ceux d’une simple prévision fondée sur les taux de base. Un entraînement visant à mieux calibrer leurs probabilités a amélioré leurs résultats.
Selon les chercheurs, leur modèle Ibis0 a sélectionné des expériences 2.5 fois plus efficacement que le meilleur modèle de pointe dans le cadre d’une tâche de sélection séquentielle d’expériences. Ils ont publié le code, les données et les modèles entraînés.
Pourquoi c'est important
Pour les scientifiques qui s’appuient sur l’IA afin de choisir leurs expériences, ces résultats suggèrent qu’un entraînement au calibrage des probabilités pourrait améliorer cette sélection. L’avantage rapporté se limite toutefois à la tâche étudiée et n’a pas fait l’objet d’une validation indépendante ici.
