Amazon SageMaker AI heeft aangekondigd dat gebruikers bij serverless jobs voor modelaanpassing nu zelf de sequentielengte kunnen instellen. Voorheen gebruikten deze jobs een vast aantal tokens. Gebruikers kunnen nu dataset_max_len instellen voor SFT- en DPO-jobs, of max_prompt_length en max_response_length voor RFT-jobs, tot het gepubliceerde maximum van het model — vaak 16.000 tokens. De functie is beschikbaar in US East (N. Virginia), US West (Oregon), Asia Pacific (Tokyo) en Europe (Ireland).
Waarom het ertoe doet
Ontwikkelaars kunnen grote taalmodellen fine-tunen op langere documenten zonder zelf trainingscode te schrijven.
