SageMaker AIで、サーバーレスジョブを使ってオープンウェイトモデルを微調整する際、トークン数の上限を最大16Kまで設定できるようになりました。
短信著者： OossaOossa公開日: 1 分で読める
Amazon SageMaker AIは、サーバーレスのモデルカスタマイズジョブで、ユーザーが系列長を指定できるようになったと発表しました。従来、ジョブで使えるトークン数は固定されていました。現在はSFTおよびDPOジョブでdataset_max_lenを、RFTジョブでmax_prompt_lengthとmax_response_lengthを設定できます。上限はモデルの公表値までで、多くの場合16,000トークンです。この機能は米国東部（バージニア北部）、米国西部（オレゴン）、アジア太平洋（東京）、欧州（アイルランド）で利用できます。
開発者は、独自のトレーニングコードを書かずに、より長い文書を使って大規模言語モデルを微調整できます。
モデル
25のオープンソースソフトを調べ、493件の問題を発見。OpenSSHでは認証前に届くコードを減らす修正につながりました。
モデル
Flintは総パラメーター数400億、アクティブパラメーター数25億。MacBook Proで毎秒125トークンの速度で動作する。
モデル
新モデルFlintは、262Kトークンのコンテキストウィンドウと初期段階のMac対応により、大規模プロジェクトのコード理解や編集を支援します。
Oossa · ニュースレター
今週のAIを、わかりやすく
毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。
