Sakana AI heeft in Transactions on Machine Learning Research (TMLR) een paper gepubliceerd over een nieuw peerreviewsysteem voor grote taalmodellen. Het systeem gebruikt drie op Claude gebaseerde agents die samenwerken om fouten in onderzoeksclaims op te sporen. In een benchmark met 1.164 bekende tegenstrijdigheden signaleerde het systeem 73,43% van de fouten in hoofdclaims. Het beste eerdere systeem ontdekte slechts 14,81% van dezelfde fouten.
Zo is de test opgezet
De benchmark, Contradiction Benchmark genaamd, bevat 1.164 gevallen waarin de hoofdclaim van een paper in tegenspraak is met het eigen bewijs. Sakana AI testte zijn Multi-Layered Review (MLR)-agents op de benchmark en registreerde hoeveel fouten elk systeem ontdekte. De gerapporteerde cijfers zijn afkomstig uit Sakana AI’s eigen evaluatie.
Waarom het ertoe doet
Als peerreviewtools de meeste fouten in claims kunnen opsporen, krijgen onderzoekers mogelijk sneller feedback voordat ze publiceren. Voor lezers kan dat betekenen dat er minder papers met verborgen tegenstrijdigheden verschijnen. Onafhankelijke verificatie van deze resultaten is nog nodig.
