I ett blogginlägg visar AWS hur fyra inställningar för inferens i Amazon Bedrock påverkar kostnaden. Kortare TTL för cache, servicenivån Flex, resonemang med låg ansträngning och en lägre gräns för maxTokens kan minska tokenåtgången och kostnaden. Inlägget innehåller exempel på kod, testresultat och länkar till pristabeller, så att utvecklare kan mäta effekten innan de inför ändringarna i skarp drift.
Varför det spelar roll
Utvecklare kan minska utgifterna för generativ AI på Bedrock genom att justera de här fyra inställningarna i stället för att byta modell.
