Amazon SageMaker AI宣布,其无服务器模型定制作业现已支持用户自定义序列长度。此前,这类作业使用固定的令牌数。现在,用户可以为SFT和DPO作业设置dataset_max_len,或为RFT作业设置max_prompt_length和max_response_length,长度上限可达到模型公布的最大值,通常为16,000个令牌。该功能现已在美国东部(弗吉尼亚州北部)、美国西部(俄勒冈州)、亚太地区(东京)和欧洲(爱尔兰)上线。
为什么重要
开发者无需编写自定义训练代码,就能用更长的文档微调大型语言模型。