In een blog laat AWS zien hoe vier opties voor inferentie op Amazon Bedrock je rekening beïnvloeden. Een kortere cacheduur (TTL), de Flex-servicelaag, redeneren met weinig inspanning en een lagere limiet voor maxTokens kunnen het tokenverbruik en de tarieven verlagen. De blog bevat voorbeeldcode, testresultaten en links naar prijstabellen, zodat ontwikkelaars de impact kunnen meten voordat ze wijzigingen doorvoeren.
Waarom het ertoe doet
Ontwikkelaars kunnen hun uitgaven aan generatieve AI op Bedrock verlagen door deze vier instellingen aan te passen, in plaats van van model te wisselen.
