Forskare har tagit fram EDB-Bio, ett test baserat på publicerade studier inom tre biologiska områden, för att undersöka om språkmodeller kan bedöma belägg för vetenskapliga hypoteser. I forskarnas tester var modellerna utan särskild träning systematiskt alltför osäkra och presterade ungefär lika bra som en enkel prognos baserad på grundfrekvenser. När modellerna tränades i att ge bättre kalibrerade sannolikheter förbättrades resultaten.
Forskarna uppger att deras modell Ibis0 valde experiment 2,5 gånger effektivare än den bästa frontmodellen i en uppgift där experiment skulle väljas stegvis. De har släppt koden, dataunderlaget och de tränade modellerna.
Varför det spelar roll
För forskare som använder AI som hjälp vid val av experiment tyder resultaten på att träning i sannolikhetskalibrering kan förbättra experimenturvalet. Den rapporterade fördelen gäller dock bara den uppgift som studerades och har inte validerats oberoende här.
