Architect Financial Technologies ha lanzado Liquid Inference, un enrutador de LLM que organiza una subasta en tiempo real por cada solicitud. Los proveedores presentan ofertas para atender cada consulta, y el comprador paga la más baja que cumpla sus criterios. Para usar el servicio, los desarrolladores solo tienen que cambiar la URL base en su código.
Por qué importa
Los desarrolladores pueden reducir potencialmente los costos de inferencia al seleccionar automáticamente al proveedor más barato que cumpla sus criterios.
