Notas XXXI sobre Contratación Pública: Inteligencia artificial en el ámbito educativo, algoritmos,… ¿y su control?

El pasado 31 de agosto el Consello de la Xunta en su reunión semanal (aunque en verano siempre hay alguna menos, jeje) aprobó un informe para presentar/lanzar «EdugalIA», un proyecto para incorporar la Inteligencia Artificial a la «Gobernanza» del sistema educativo. Y digo a la Gobernanza, porque en el ámbito formativo ya lleva unos años ocupando titulares, sin perjuicio de su despliegue efectivo o no. La reseña del acuerdo puede consultarse en las páginas 33 y siguientes del archivo pdf del enlace: https://www.xunta.gal/c/document_library/get_file?folderId=31605&name=DLFE-51109.pdf

En la práctica, el informe suponía la publicidad previa (con el alcance en prensa, RRSS,… de los acuerdos del Gobierno) de la consulta preliminar del mercado (art. 115 de la LCSP) para decidir cómo aplicar la IA a las grandes decisiones de la política educativa. O eso parece, porque las demás cuestiones que se plantean en el informe «unificar datos, digitalización, plataforma de comunicación familias-docentes,…» ya tienen actualmente una solución (o varias) en la Administración autonómica (Abalar,…). Mejorables, sin duda, pero ya existen.

Y la cuestión de un único expediente educativo, después de hacer recientemente un traslado de expediente de primaria a Secundaria «en papel», con toda la digitalización de datos de asistencia, cualificaciones, etc, que ya constaban en Abalar y en los demás sistemas de datos de educación, parece obedecer simplemente a la conocida regla constitucional de «siempre se ha hecho así», o al gusto por la firma «tradicional» para título y oficios de algunas personas dentro de la administración.

Además, esta cuestión de la IA aplicada al sistema educativo también me suena de fecha recientes, en concreto de finales de 2021, porque creo recordar que el Premio de emplead@s públicos innovadores de la III edición que se concedió a finales de 2021 proponía ya la aplicación de «métricas» y algoritmos en el ámbito educativo (como se puede comprobar en el enlace del Diario Oficial porque el enlace al proyecto premiado no lo he encontrado): https://www.xunta.gal/dog/Publicados/2022/20220104/AnuncioG0198-171221-0001_es.html

Y como siempre en contratación pública, pero sobre todo cuando suma con la innovación,…, lo más importante es ir a la «fuente», ¿qué se propone contratar? La consulta preliminar del mercado puede descargarse del perfil de la Consellería competente: https://www.contratosdegalicia.gal/resultadoAnuncios.jsp?N=327

El producto debe ser novedoso, por supuesto, no pudiendo tratarse de soluciones de mercado que ya se comercialicen actualmente, lo cual sería realmente novedoso, de no ser porque se incluye una «puerta de atrás» al permitir soluciones ya comercializadas pero yendo «más allá de sus soluciones actuales proponiendo desarrollos y funcionalidades innovadoras que no estén en el mercado». Buf… difícil distinguir esta opción del párrafo anterior que permite «incluir funcionalidades o soluciones complementarias, siempre y cuando acerquen valor en el marco estratégico expuesto».

Pero en concreto ¿qué se incluye de IA? Del análisis de la documentación publicada en el perfil, podemos comprobar que uno de los retos prioritarios es:

«Disponer de sistemas que implementen algoritmos avanzados de análisis de la información disponible para la evaluación y reporte la diferentes niveles de gestión (principalmente direcciones generales, subdirecciones generales, jefaturas de servicio y asesorías) para evaluar: los factores que inciden en el abandono temprano y fracaso escolar a nivel predictivo; la vulnerabilidad del entorno de cada centro educativo para la priorización de recursos para la atención de necesidades específicas de apoyo educativo y la optimización de la distribución de recursos orientados a su atención».

Y como en todo lo que tiene que ver con algoritmos y más en la atención directa a la ciudadanía: «debe abordarse de forma íntegra la problemática del sesgo en sistemas de inteligencia artificial, para que los posibles modelos no reflejen perjuicios o inclinaciones hacia ciertos perfiles, y que esto no afecte al funcionamiento ni los resultados, por lo que se prestará especial atención en las estrategias propuestas para la mitigación de estos riesgos». Salvo error, se echa en falta una cita específica a las Orientaciones éticas de la Comisión en la materia, que pueden consultarse en el siguiente enlace: https://op.europa.eu/en/publication-detail/-/publication/d81a0d54-5348-11ed-92ed-01aa75ed71a1/language-en

Pero la pregunta es: ¿Quién va a auditar estos algoritmos? ¿Quién tiene la preparación, formación, experiencia,… dentro o fuera de la Xunta de Galicia o de cualquier administración pública para auditar los algoritmos que resulten de todo este proceso? Porque la idea puede ser una fuente de beneficios y/o problemas, pero quién va a velar porque, como exige la UNESCO, se garantice «una utilización ética, transparente y comprobable de los datos y algoritmos de la educación»: https://es.unesco.org/themes/tic-educacion/inteligencia-artificial

El Tribunal de Cuentas de Países Bajos (NCA) ha desarrollado un marco de auditoría para algoritmos que puede resultar de utilidad para quien tenga que asumir estas funciones en un futuro muy próximo. Todo ello parte de un informe de principios de 2021: https://english.rekenkamer.nl/publications/reports/2021/01/26/understanding-algorithms

Toda la información de su trabajo y el marco de auditoría desarrollado se encuentran publicados (e incluidos desde la 1ª edición en el curso de la Escola Galega de Administración Pública – EGAP sobre fondos Next Generation cuya 8ª edición empieza en un par de semanas): https://english.rekenkamer.nl/publications/publications/2021/01/26/audit-framework-for-algorithms

Por último, lo que preocupa realmente a la ciudadanía, aunque puede no ser lo más relevante… ¿cuánto me va a costar esto? De acuerdo con la documentación del expediente se estima un coste para el proyecto definitivamente seleccionado de entre 5 y 10 millones de euros. ¿Por qué esa cifra? De momento en el expediente publicado no hay más información.

¿Y por qué esta «inquina/insistencia» en qué se controle y audite todo? Porque coincido en que todo lo que se mide y se analiza (sin sesgos), suele mejorar. Pero en el ámbito educativo, tampoco querría que se impidiese el clásico ejemplo de estudiante que, a pesar de algoritmos que los desterraban de cualquier éxito académico y que recomendaban no invertir un segundo de tiempo ni un euro, consiguió su objetivo.

Porque en ocasiones los algoritmos se equivocan, y quien los alimenta con sesgos, más.

La Base de Datos Nacional de Subvenciones – BDNS no sirve para (casi) nada. Pero, ¿podría ser útil?

Se termina el año 2021 y el Gobierno de España recibe un nuevo libramiento de Fondos #NextGenerationEU por haber cumplido toda una serie de hitos.

Se termina el año y los #OCEX se reúnen en Santiago de Compostela entre otras cuestiones para analizar cómo va a ser el control de los nuevos fondos. Y como diría el Comic de Asterix y Obelix también se ha colado algún «irreductible galo no OCEX». Servidor había presentado una comunicación con un nombre muy rimbombante pero con una finalidad ilustrativa acerca de lo lejos que están los sistemas de control de ser una de las prioridades de las distintas administraciones.

En particular, y dado que la comunicación confío en que se publicará en su momento, aprovecharé las últimas «notas» del año 2021 (salvo novedad) para criticar lo máximo posible la Base de Datos Nacional de Subvenciones. Lo haré para ver si alguien se ofende y la mejora. Y lo haré para ver si alguien de la Comisión Europea, OLAF, ECA,… o incluso de la IGAE como responsable de la máquina, lo lee y decide que el control de la concurrencia de ayudas es un hito que está muy lejos de cumplirse.

En esta línea, el artículo 22 del Reglamento (UE) 2021/241 del Parlamento Europeo y del Consejo de 12 de febrero de 2021, por el que se establece el Mecanismo de Recuperación y Resiliencia introduce la obligación para los EEMM de compilar en un formato electrónico único y en una base de datos los siguientes elementos:

a. Nombre del perceptor final de los fondos.

b. Nombre del contratista y del subcontratista

c. Nombres, apellidos y fechas de nacimiento de las personas físicas o jurídicas que sean los propietarios o que tengan el control de la persona jurídica perceptora de los fondos o del contratista

¿Y cómo lo hacemos/haremos para cumplir? Como introducción diré que el instrumento estrella, la BDNS, lleva cuatro años en funcionamiento, pero no funcionando.

¿Cómo lo puedo afirmar? Diría que aprox. el 90% de las personas que trabajan con subvenciones en la administración nunca han accedido (en las actividades formativas en que participo hemos podido comprobarlo, aunque no hay «estadísticas oficiales»). Y para confirmarlo, simplemente he realizado una serie de rudimentarias pruebas que recomiendo a cualquiera que asuma una auditoría de los sistemas de información de las AAPP o a cualquiera que quiera garantizar la fiabilidad de sus propios sistemas de control (yo lo hago). Usémosla, pero sepamos sus posibilidades y limitaciones, y aprovechemos para completarla.

La propia base ya informa además que su información sólo está disponible en los 4 años siguientes al año de concesión (art. 7.8 del RD 130/2019) para personas jurídicas, y sólo durante el año siguiente para personas físicas. Esta limitación, en el escenario de Marcos de Financiación presupuestarios europeos de hasta 9 años de vida limita enormemente la utilidad de la BDNS y obliga a comprobaciones imposibles en personas físicas.

¿Qué hacer para evitar estas limitaciones? Descargas masivas periódicamente para construir nuestra propia base, posibilidad que veremos más adelante que son…. difíciles

¿Habilitación legal para la confección de bases de datos propias? La misma que nos atribuye el control de la no concurrencia de ayudas.

Vaya por delante que no soy ningún experto programador, aunque mi hija de 10 años cree que esa puede ser mi profesión, por lo que deberán disculpar los errores conceptuales y agradezco que aporten todas las mejoras que crean oportunas cuando lean las «chorra pruebas» realizadas:

PRUEBA 1.- Integridad de la información de terceros:

¿Es la información de terceros fiable? No lo suficiente. Si consultamos por NIF (dato único) nos sorprende con hasta 6 o 10 denominaciones diferentes para el mismo NIF. ¿Por qué? Porque la BDNS no bene de una fuente única que contrasta los terceros como debería, sino que cada cual puede subir los datos con la denominación de su propio sistema contable (si lo tiene, que hay municipios muy pequeños).

No sólo eso, algunas denominaciones contienen caracteres que no se permite en la opción de búsqueda (que sólo pueden ser alfanuméricos), pero sí se devuelven como resultados de denominación.

Al menos, al buscar las ayudas por cualquiera de los términos aceptados, el resultado de ayudas parece ser el mismo (y digo parece porque he hecho sólo algunas pruebas).

¿Aporta la base información sobre empresas vinculadas, matrices y filiales, etc? No. ¿Por qué? No se ha considerado procedente.

PRUEBA 2.- Consulta masiva de ayudas concedidas

La consulta masiva de ayudas concedidas, sin filtros de NIF de beneficiario ni administración concedente (ni cuantías porque no permite) se presenta en una pantalla que permite visualizar hasta 200 concesiones en un formado de listado terrible pero que en muchos de los días obligaría a ver 500 páginas sucesivas.

Permite ordenar los datos de menor a mayor o alfabéticamente para cada columna de información, pero es tan poco «atractivo» que a la media hora viendo información te levanta dolor de cabeza.

¿Pero puedes descargar la información?

PRUEBA 3. DESCARGA MASIVA DE AYUDAS CONCEDIDAS

¿Puedes descargar la información? Puedes, pero… con un límite máximo de 10.000 registros. Por poner en contexto la funcionalidad, cada día del mes de noviembre se publicaron entre 5.000 y 15.000 registros.

Es tan triste que cuando intentas descargarlo en formato pdf te informa de que no puedes superar los 10.000 registros y que pruebes con formato csv…

No hay texto alternativo para esta imagen

Y cuando pruebas con formato csv… ¡sorpresa! Tampoco lo permite. ¿Técnicamente es posible? Por supuesto. Pero no se quiere permitir

No hay texto alternativo para esta imagen

¿Y qué sucede cuando algún día se superar los 10.000 registros? Pues que artesanalmente debe usar «ctrl» y el puntero para seleccionar y deseleccionar organismos y poder así descargar algo menos de 10.000 registros y el resto.

PRUEBA 4.- Verificación de cumplimiento de fechas de «subida» a la BDNS (y de otras fechas relevantes)

Otra en la frente. La comprobación de los plazos fijados en el Real Decreto 130/2019 permiten verificar que las fechas límites (como regla general mes siguiente a la fecha de producción del acto administrativo) no se cumplen. Ni por días, ni por meses, ni por años.

Hay entes que no están publicando las ayudas, otros que tardan meses en hacerlo, desvirtuando en cualquier caso la posibilidad de usar la BDNS para comprobar la concurrencia de ayudas.

Además, la fecha que identifica la BDNS como «fecha de resolución de concesión», puede ser tanto la fecha del documento de resolución, la fecha de envío a la BDNS, la fecha de subida,… pero en muy pocos caso la fecha legal de «publicidad/notificación» de la resolución de concesión. Y ésta última es la relevante para analizar concurrencia, incumplimiento de obligaciones de comunicar otras ayudas, etc.

PRUEBA 5.- Efecto disuasorio con la publicación de sanciones y/o reintegros

No se publican sanciones ni reintegros. ¿No lo hay? Evidentemente sí los hay, pero como el artículo 63.3 de la Ley 38/2003 lo configura como potestativo en cuanto a las sanciones, no hay ninguna publicada. La opción de publicar los reintegros ha debido quedar para la siguiente «mejora» de la BDNS. De momento, la búsqueda de información sobre sanciones en los 4 años de vida de la BDNS devuelve el siguiente resultado:

No hay texto alternativo para esta imagen

PRUEBA 6. Verificación de concurrencia de ayudas, gastos duplicados, fraude

Como ya expliqué en la presentación de la comunicación, esta aplicación debería permitir el cotejo de información rápida y veraz. Y eso ya hemos visto que no es posible o fiable. Pero además, deberíamos aprovechar la oportunidad para extender el control a la concurrencia, no ya de ayudas, sino de gastos. Ahí está el fraude. En los proveedores que se reparten mercado para inflar precios en sector más subvencionados, en facturas de beneficiarios que se presentan a Diputaciones y Comunidades Autónomas, pero también a distintas Comunidades Autónomas, porque los gastos en Innovación no están pegados al suelo como las inversiones tradicionales.

¿Sirve para esta finalidad la BDNS? Ni está, ni se le espera. ¿Está la interoperabilidad y coordinación entre AAPP supliendo estas limitaciones? Ni está, ni se le espera.

La Diputación de A Coruña a través de su plataforma de gestión de ayudas «Subtel» impone a los beneficiarios que suban los datos de las facturas que se subvencionan.

No hay texto alternativo para esta imagen

Ese trámite nos permitiría a todas las AAPP controlar el fraude mediante la gestión de datos. ¿De millones de datos? Sí, pero para eso están los robots, las aplicaciones informáticas,… y las cabezas pensantes. Tenemos sistemas de facturación electrónica que no son más que bases de datos que igual sirven para contratación pública que para subvenciones. Y esos datos permitirán cruzar y detectar fraude, permitirán analizar valor de mercado, acuerdos de colusión, conflictos de intereses,… Vámonos de una vez al control del siglo XXI.

Todo lo anterior para concluir, como escribí en la conclusión de la comunicación y como dije ayer en la breve presentación: nosotros debemos modernizar nuestros controles, porque los expertos y/o reincidentes en fraude se modernizan rápido y bien.