OVHcloud, líder europeo del cloud con presencia mundial, anuncia la incorporación de SambaNova, líder en infraestructuras de IA de última generación, como pieza fundamental para completar su porfolio de soluciones de inferencia con el objetivo de lograr una inferencia con una latencia ultrabaja.
Para OVHcloud, las organizaciones que desarrollan las cargas de trabajo de IA de última generación se enfrentan a restricciones cada vez mayores: las llamadas a LLM secuenciales crean cuellos de botella que aumentan la latencia, mientras que las aplicaciones orientadas al usuario exigen respuestas casi inmediatas. Al mismo tiempo, los procesos operativos deben ser capaces de procesar millones de inferencias, garantizando al mismo tiempo unos niveles de rendimiento estrictos, tanto en lo que respecta al tiempo hasta el primer token (time to first token) como al tiempo de generación de cada token (time per output token).
La colaboración entre OVHcloud y SambaNova abre así la puerta a una amplia gama de casos de uso en los que cada milisegundo cuenta. En sectores como el comercio financiero, la ciberseguridad, la automatización industrial, la optimización logística, la supervisión y muchos otros, una inferencia lenta puede traducirse en oportunidades perdidas, puntos ciegos en la operativa o una experiencia de usuario deteriorada.
El servicio OVHcloud AI Endpoints, optimizado por la plataforma SambaStack de SambaNova, permite al grupo enriquecer sus endpoints con capacidades de nivel de producción, caracterizadas por un rendimiento excepcional, una inferencia rápida, una alta eficiencia energética y una disponibilidad garantizada por un SLA de tiempo de actividad del 99,8 %
OVHcloud AI EndPoints optimizado por la plataforma de IA de SambaNova
La plataforma de inferencia rápida de SambaNova impulsará el servicio OVHcloud AI EndPoints, diseñado para las cargas de trabajo más exigentes, que requieren la inferencia más rápida, fiable y a gran escala. Con esta nueva solución, OVHcloud pretende ofrecer nuevos tipos de endpoints: tanto endpoints en tiempo real y con rendimiento garantizado, como una API por lotes capaz de soportar un volumen masivo de llamadas, cuando no se requiere de tiempo real. Para los usuarios finales, esto se traduce en respuestas entregadas en los plazos más cortos, tanto para el primer byte como para cada primer token (output token).
Como complemento a su actual backbone de GPU en el núcleo de las sesiones AI Endpoints, el nuevo nodo de inferencia de SambaNova también ofrece a los clientes una experiencia ultrarrápida gracias a procesadores o unidades de flujo de datos reconfigurables (RDU), diseñadas específicamente para la IA. Además, la tecnología de SambaNova ofrece un alto volumen de tokens por kilovatio/hora y resulta ideal en términos de eficiencia, gracias, en particular, a un uso optimizado de los recursos y a una densidad optimizada para el datacenter.
Con velocidades de inferencia ultrarrápidas, la solución AI EndPoints impulsada por SambaNova se basa en un gran número de modelos de open-source perfectamente diseñados para ejecutar cargas de trabajo exigentes y con baja latencia para casos de uso en tiempo real, como los agentes de IA, la traducción en línea y el uso de agente a agente, así como las API de procesamiento por lotes para casos asíncronos como el rastreo, la generación de bases de datos vectoriales, la actualización de conjuntos de datos y las operaciones masivas por lotes.
«La elección de SambaNova es una decisión deliberada para ofrecer a nuestros clientes una experiencia de inferencia incomparable», afirma Octave Klaba, fundador y CEO de OVHcloud. «Su tecnología proporciona la potencia bruta y la eficiencia necesarias para las cargas de trabajo de IA más intensivas. Esta colaboración nos permite ejecutar más modelos con un menor impacto, lo que se traduce en una inferencia de IA con un mejor uso de los recursos».
«La colaboración entre SambaNova y OVHcloud pone de relieve cómo estamos estableciendo un nuevo estándar en cuanto al rendimiento y la eficiencia de la IA a gran escala», señala Rodrigo Liang, cofundador y CEO de SambaNova. «Juntos, ofrecemos a las empresas la capacidad de implementar modelos de IA a gran escala de forma más rápida y fiable que nunca. Esta colaboración abre la puerta a innovaciones revolucionarias, ayudando a los clientes a convertir los avances de la IA en resultados tangibles».
El servicio AI Endpoints, impulsado por SambaNova, es una piedra clave de la estrategia de OVHcloud para proporcionar una plataforma de inferencia de IA completa y de alto rendimiento, tanto para desarrolladores como para empresas que buscan el mejor rendimiento, soporte y funcionalidades avanzadas para sus aplicaciones críticas de IA.
