Scality como almacenamiento para KV Cache en inferencia de LLM

Cuando un modelo de lenguaje genera una respuesta, normalmente no parte de cero en cada token sino que guarda en memoria los cálculos de atención ya realizados para el contexto que ha ido procesando. Esa memoria intermedia se conoce como KV cache (key-value cache) y es, en la práctica, el «cuaderno de apuntes» del modelo mientras razona. El problema es que ese cuaderno crece muy rápido con el tamaño del contexto y del modelo, y es muy dificil (y caro ) que quepa entero en la memoria de una sola GPU. Cuando eso ocurre, es imprescindible descargarlo («offload») a un almacenamiento o tier fuera de la memoria de la GPU, y ahí es donde entra en juego Scality ADI.

No vale cualquier almacenamiento ya que la KV cache exige lecturas y escrituras muy pequeñas, muy frecuentes y con una latencia mínima: hablamos de microsegundos. Si el almacenamiento es lento, el modelo tarda más en producir el primer token de respuesta (lo que se conoce como time-to-first-token)lo que implica que la experiencia del usuario se degrade, además de desperdiciar capacidad de GPU, un recurso extremadamente caro, esperando datos.

Aquí es donde Scality ADI aporta valor con su infraestructura de datos para IA. En lugar de forzar que las arquitecturas sean 100% flash para todo —caro e innecesario para datos que no requieren esa velocidad—, Scality ADI organiza los datos en distintos niveles o tiers según su patrón de acceso. Por ejemplo, para la KV cache y las búsquedas vectoriales más exigentes, ofrece un nivel de acceso directo a GPU con flash TLC y S3 sobre RDMA, capaz de entregar lecturas en menos de 50 microsegundos.

Un segundo punto clave es que Scality permite centralizar la KV cache y compartirla entre varias instancias de inferencia, en lugar de que cada una mantenga su propia caché local en memoria. Esto aumenta la tasa de aciertos de caché (cache hit rate) y reduce el time-to-first-token entre un 30% y un 50% para patrones de contexto que se repiten, como son típicamente los prompts de sistema o fragmentos de conocimiento compartido.

Además, al tratarse de la misma infraestructura que ya almacena el resto del ciclo de vida de los datos de IA —desde la ingesta de documentos hasta el archivo a largo plazo—, se evita tener que gestionar silos de almacenamiento incompatibles, ganan escalabilidad de petabytes a exabytes y suman la resiliencia, ciberseguridad y soberanía del dato que ya caracteriza a Scality.

En resumen: Scality ADI convierte la KV cache, un componente técnico casi invisible, en una ventaja de negocio real, con menor latencia, menor coste y mayor capacidad de servir más usuarios de IA generativa en simultáneo.

Fuentes