Deep Principle heeft Hydrogen-1.0 uitgebracht, een model voor scheikunde, materiaalkunde en levenswetenschappen. Het bedrijf zegt dat het GLM-5.3 van Z.ai heeft aangepast met wetenschappelijke informatie, laboratoriumgegevens en verslagen van de handelingen van onderzoeksagenten. MarkTechPost meldt dat Hydrogen-1.0 een model met 753 miljard parameters is.
De modelgewichten — de bestanden die nodig zijn om het model te gebruiken of aan te passen — zijn beschikbaar op Hugging Face onder de MIT-licentie. Zo kunnen onderzoekers en ontwikkelaars het model zelf evalueren en er toepassingen omheen bouwen, in plaats van alleen gebruik te maken van een dienst die door een bedrijf wordt beheerd. De volledige trainingsdatasets en de complete trainingsmethode zijn niet bij de release inbegrepen.
Wat heeft Deep Principle getest?
Deep Principle meldt dat Hydrogen-1.0 GPT-6-Astra versloeg op FrontierScience-Research en beter presteerde dan het basismodel GLM-5.3 op GPQA-Diamonds, met resultaten die ongeveer gelijk waren aan die van Kimi-K3. In de aankondiging van het bedrijf staan geen scores voor deze vergelijkingen. Op basis van alleen de tekst kunnen lezers dus niet beoordelen hoe groot de gemelde winst is.
In de eigen evaluaties van onderzoekstaken van het bedrijf scoorde Hydrogen-1.0 bij alle drie de geteste redeneerniveaus hoger dan GPT-6-Astra voor wetenschappelijk rekenen en het voorspellen van voorwaartse reacties. Tegenover Astra op het hoogste niveau bedroegen de gemelde voorsprongen 5,13 en 4,76 procentpunt. Astra scoorde 3,33 punten hoger bij de analyse van NMR-structuren. Deep Principle vergeleek de modellen ook aan de hand van 117 vragen over het plannen van experimenten, maar vermeldt in de tekst van de aankondiging geen scores.
Wat kunnen onderzoekers ermee doen?
Deep Principle laat zien hoe het model code schrijft en repareert voor een polymeersimulatie, mogelijke chemische reacties in kaart brengt en kandidaatstructuren beoordeelt aan de hand van een NMR-spectrum. Voor deze voorbeelden worden externe tools en onderzoeksomgevingen gebruikt. Het zijn demonstraties, geen bewijs dat de wetenschappelijke conclusies van het model kloppen.
De Hugging Face-pagina bevat BF16-gewichten met volledige precisie en versies met lagere precisie voor specifieke hardware: NVIDIA Blackwell-chips of AMD Instinct MI350X en MI355X. Volgens de pagina is een implementatie getest op acht GPU's, maar de hardware voor die test wordt niet vermeld. Er staat ook dat de vereisten afhangen van de software en configuratie en dat het model onjuiste antwoorden kan geven. Onderzoekers moeten belangrijke beweringen controleren aan de hand van berekeningen, vakliteratuur of experimenten.
Waarom het ertoe doet
Onderzoekers kunnen Hydrogen-1.0 downloaden en aanpassen, in plaats van volledig afhankelijk te zijn van een propriëtair wetenschappelijk model. Maar door de hoge hardwarevereisten, de onvolledige informatie over de training en de evaluaties van het bedrijf zelf, zullen ze het model op hun eigen werk moeten testen en de antwoorden onafhankelijk moeten controleren.
