Perplexity AI anunció dos nuevas versiones de su modelo pplx-embed-v2-late. La variante más pequeña tiene 0,6 mil millones de parámetros y está diseñada para funcionar en dispositivos de borde, como teléfonos o aparatos IoT. La versión más grande tiene 9 mil millones de parámetros y está pensada para crear índices vectoriales de alta calidad para sistemas de búsqueda o recomendación. Ambos modelos se publican con licencia MIT, por lo que cualquiera puede descargarlos y alojarlos en sus propios servidores.
Rendimiento de los modelos
En las pruebas de Perplexity, el modelo de 9 mil millones de parámetros obtuvo un 92,4% en la prueba MADQA, un estándar para evaluar la precisión al responder preguntas. El mismo modelo logró un 61,2% en ViDoRe v3 Markdown, una prueba que mide el manejo de texto con formato Markdown. La empresa afirma que el modelo de 0,6 mil millones está optimizado para ofrecer velocidad y consumir poca memoria, mientras que el de 9 mil millones prioriza la precisión.
Por qué importa
Ahora los desarrolladores pueden ejecutar un modelo de embeddings ligero directamente en teléfonos o dispositivos pequeños, sin depender de un servicio en la nube. Los equipos que necesitan funciones de búsqueda o recomendación más precisas pueden usar el modelo de mayor capacidad y mantener el control total de sus datos, ya que ambas versiones son de código abierto.
