Forschende haben EDB-Bio vorgestellt, einen Benchmark auf Grundlage veröffentlichter Studien aus drei biologischen Fachgebieten. Damit soll geprüft werden, ob Sprachmodelle Belege für wissenschaftliche Hypothesen beurteilen können. In den Tests der Forschenden waren nicht trainierte Modelle systematisch zu zurückhaltend und schnitten etwa so gut ab wie eine einfache Prognose auf Basis der Grundhäufigkeit. Ein Training, das die Kalibrierung ihrer Wahrscheinlichkeitsangaben verbessern sollte, steigerte die Ergebnisse.
Nach Angaben der Forschenden wählte ihr Modell Ibis0 in einer Aufgabe zur schrittweisen Auswahl von Experimenten 2,5-mal effizienter Experimente aus als das beste Frontier-Modell. Sie veröffentlichten den Code, die Daten und die trainierten Modelle.
Warum es wichtig ist
Für Forschende, die KI zur Auswahl von Experimenten einsetzen, legen die Ergebnisse nahe, dass ein Training zur Kalibrierung von Wahrscheinlichkeitsangaben die Auswahl verbessern könnte. Der berichtete Vorteil gilt jedoch nur für die in der Studie untersuchte Aufgabe und wurde hier nicht unabhängig überprüft.
