Candidatura

SICTILAKE – Mapa Nacional de Ciencia

Ir a candidaturas XVIII Convocatoria de Premios Transformación Digital

El MICIU crea el primer mapa nacional de ciencia en España basado en un Data Lakehouse impulsado por Cloudera. El Ministerio de Ciencia, Innovación y Universidades (MICIU) ha creado un mapa nacional de ciencia que proporciona acceso a los estudios científicos, autorías, patentes y subvenciones en el ámbito del I+D, a través de la aplicación de capacidades avanzadas de gestión y procesamiento del dato. Este proyecto se ha desarrollado con la tecnología de Cloudera y su partner PUEDATA, que han implementado un Data Lakehouse, convirtiendo al MICIU en un organismo público pionero en el uso de arquitecturas distribuidas. Este proyecto supone un beneficio para el organismo, pero también para la sociedad, gracias a la existencia de un único punto de conocimiento compartido.

Antecedentes

El Ministerio de Ciencia, Innovación y Universidades (MICIU) es el departamento de la Administración General del Estado encargado de la propuesta y ejecución de la política del Gobierno en materia de ciencia, desarrollo tecnológico e innovación, así como de la propuesta y ejecución de la política del Gobierno en materia de universidades.

El organismo tenía la necesidad de crear un buscador en el que todos sus datos estuvieran catalogados y fueran fácilmente accesibles. De forma que, a la hora realizar una consulta sobre una materia concreta, fuera posible encontrar la información adecuada y extraer indicadores de valor.

Retos

El reto principal consistía en vincular un inmenso volumen de información de diversas fuentes y formatos, asegurando la calidad, trazabilidad y escalabilidad de los datos para futuros análisis y políticas públicas. Para ello, el MICIU eligió a Cloudera, que implementó una plataforma Data Lakehouse (con Cloudera Data Platform Private Cloud) para unificar la ingesta, el procesamiento analítico y el gobierno del dato en un único entorno seguro, manteniendo el control y la soberanía de la información crítica.

Desde el inicio, se han procesado más de 2,7 millones de registros (de investigadores, entidades del mundo de la investigación y la innovación, actividades y resultados). Se ha creado una clasificación temática científico-técnica propia.

Fases

1ª Fase:

Desarrollo del DataLake Se desarrolló un DataLake para crear un buscador unificado de información científica, implementando una arquitectura segura y eliminando silos. La ingesta y el procesamiento masivo de datos se realizó con NiFi y Iceberg, estructurando la información en tres maestros: “personas físicas”, “entidades” y “temáticas”. Esto supuso una evolución hacia una arquitectura distribuida que conecta la información de investigadores, proyectos, patentes, publicaciones, universidades, empresas de innovación, tesis, etc.

2ª Fase:

Ampliación y Casos de Uso. La segunda fase se centra en ampliar las funcionalidades del buscador e impulsar nuevos casos de uso. Se busca ingestar más fuentes, mejorar la calidad de los datos para análisis más avanzados y la detección de redes de colaboración. Un caso de uso fundamental es lograr un mayor seguimiento de los resultados de proyectos y políticas públicas, ofreciendo más transparencia sobre el retorno de la inversión en I+D.

Nuevos Servicios

El MICIU es pionero en la aplicación de arquitecturas modernas distribuidas, apostando por tecnologías punteras de procesamiento masivo de datos. Asi, se puede acceder, a través del buscador al conocimiento científico de forma sencilla y por primera vez resulta posible cruzar de forma directa los proyectos de investigación, autores y ayudas existentes en torno a un ámbito concreto.

Además, se ha desarrollado una interfaz de modificación para que los gestores del Ministerio puedan atender solicitudes sobre los derechos de protección de datos de los investigadores, para una mejor gobernanza y calidad del dato.

La arquitectura implementada sobre plataforma de Cloudera ha proporcionado una base tecnológica sustentada en datos confiables y gobernados, preparada para evolucionar en analítica avanzada e inteligencia artificial. Asi, servirá de impulso para un modelo fundamentado en la colaboración y el intercambio de conocimiento en el ámbito científico, universitario y empresarial.

Conclusiones

“Antes de apostar por la plataforma de Cloudera se acometieron dos proyectos con otras tecnologías, en los que resultó imposible unificar las fuentes de datos. Cloudera Data Platform ha proporcionado la flexibilidad y escalabilidad necesarias para impulsar SICTILake. Gracias a ello, hemos logrado vincular por primera vez la información de los proyectos de investigación, los profesionales involucrados y la inversión pública asociada al I+D en España”.

“El apoyo de los Servicios Profesionales de Cloudera contribuyó a ejecutar el proyecto con los más altos estándares de calidad. Su profundo conocimiento de la plataforma y la experiencia de los arquitectos han permitido una implantación eficiente y segura”. Como consecuencia, esta plataforma se ha convertido en la base sobre la que el Ministerio podrá construir iniciativas futuras de análisis, evaluación y transparencia en materia de I+D +I.