Amazon SageMaker AI hat angekündigt, dass sich bei serverlosen Jobs zur Modellanpassung jetzt benutzerdefinierte Sequenzlängen festlegen lassen. Bisher liefen die Jobs mit einer festen Tokenzahl. Nutzer können jetzt für SFT- und DPO-Jobs dataset_max_len oder für RFT-Jobs max_prompt_length und max_response_length festlegen – bis zum veröffentlichten Maximum des jeweiligen Modells, das häufig bei 16,000 Tokens liegt. Die Funktion ist in US East (N. Virginia), US West (Oregon), Asia Pacific (Tokyo) und Europe (Ireland) verfügbar.
Warum es wichtig ist
Entwickler können große Sprachmodelle mit längeren Dokumenten feinabstimmen, ohne eigenen Trainingscode schreiben zu müssen.
