La persona debe seguir siendo el centro
Efectivamente, la Administración actúa a través de órganos, procedimientos y actos. Pero detrás de esas categorías hay siempre personas: titulares de órganos, empleados públicos, responsables del expediente, sujetos obligados a motivar y responder. La automatización altera esa arquitectura porque sustituye, al menos en parte, la intervención humana en determinadas tareas o decisiones. Por eso el problema jurídico central no es la existencia de tecnología, sino la posibilidad de que la responsabilidad se diluya.
Aquí la idea clave es muy simple: la inteligencia artificial debe concebirse jurídicamente como una herramienta, nunca como un sujeto. No es un nuevo actor administrativo, ni un equivalente funcional del empleado público, ni una instancia autónoma de decisión. Sigue siendo un instrumento al servicio del órgano competente, que debe continuar como único responsable de la actuación, del control del sistema y de los efectos que este produzca.
La inteligencia artificial debe concebirse jurídicamente como una herramienta, nunca como un sujeto.
En otras palabras, la automatización no puede servir como excusa para debilitar la imputación jurídica de la decisión administrativa. Si una Administración usa inteligencia artificial, la responsabilidad sigue siendo suya.
Si una Administración usa inteligencia artificial, la responsabilidad sigue siendo suya.
El verdadero riesgo: que nadie controle de verdad
El derecho administrativo ha venido operando desde sus orígenes sobre la base de que entre la norma y su aplicación intervenía una persona. Con la actuación algorítmica, esa intermediación se desplaza, al menos en parte, hacia la máquina.
Ese desplazamiento no es neutro. No solo modifica la forma en que se producen ciertas decisiones, sino también la forma en que se controlan. Por eso, el control no puede ser meramente formal. Tiene que garantizar que el control real sobre la actuación siga en manos del titular del órgano o, en su caso, del tercero responsable de la actuación.
Dicho de manera más directa: el problema no es que la máquina ayude a decidir, sino que nadie pueda explicar bien cómo decide, corregir sus errores o asumir la responsabilidad por sus efectos.
El problema no es que la máquina ayude a decidir, sino que nadie pueda explicar bien cómo decide, corregir sus errores o asumir la responsabilidad por sus efectos.
Qué significa “control efectivo”
El control efectivo no equivale a una supervisión simbólica ni a una referencia abstracta a la responsabilidad final del órgano. Exige algo mucho más concreto: que la propia Administración conozca la dinámica de funcionamiento de la herramienta que usa —particularmente cuando la adquiere al sector privado a través de la compra pública de tecnología—, sea capaz de detectar errores y disponga de mecanismos reales para reaccionar frente a ellos.
Eso obliga a reforzar varias exigencias: primacía del ser humano y control humano sobre el sistema algorítmico, transparencia y explicabilidad, aprobación previa sobre la base de una evaluación de riesgos, auditabilidad de su funcionamiento y posibilidad de impugnación. Además, estas garantías no deberían reservarse al momento final de la decisión, sino proyectarse sobre las tres fases de vida del sistema: elaboración, despliegue y uso.
El control efectivo obliga a reforzar varias exigencias: primacía del ser humano y control humano sobre el sistema algorítmico, transparencia y explicabilidad, aprobación previa sobre la base de una evaluación de riesgos, auditabilidad de su funcionamiento y posibilidad de impugnación.
Primera garantía: limitar la autonomía algorítmica
La primera gran cautela consiste en asumir que no todo lo que puede automatizarse debe automatizarse. Y, desde luego, no toda automatización debería desplegarse con el mismo grado de autonomía cuando lo que está en juego son decisiones públicas con impacto en derechos e intereses de los ciudadanos.
La conclusión es especialmente relevante en el ámbito público: con el estado actual de la tecnología, no cabe ejercer potestades discrecionales en sentido estricto de forma completamente automatizada. Allí donde hay dirección política, coordinación, ponderación contextual o valoración difícilmente codificable, la intervención humana sigue siendo indispensable.
Con el estado actual de la tecnología, no cabe ejercer potestades discrecionales en sentido estricto de forma completamente automatizada.
Eso no significa cerrar la puerta a toda automatización, sino restringirla con criterio. Solo cuando el objetivo esté claramente definido, existan datos suficientes y de calidad, el sistema haya sido testado con éxito y se hayan valorado sus riesgos para los ciudadanos, podrá plantearse un uso decisorio en ámbitos muy estructurados y parametrizables. Allí donde predominan conceptos abiertos o valoraciones complejas, la reserva de intervención humana sigue siendo una garantía insustituible.
Segunda garantía: aprobar el sistema antes de usarlo
La segunda gran exigencia consiste en someter el despliegue del sistema a un procedimiento de aprobación previa cuando impacte, directa o indirectamente, en los derechos de los ciudadanos. La idea responde a una intuición elemental: en la actuación administrativa algorítmica, el control no puede empezar cuando el sistema ya está funcionando y produciendo efectos. Tiene que comenzar antes.
La segunda gran exigencia consiste en someter el despliegue del sistema a un procedimiento de aprobación previa.
Ese procedimiento previo debería cumplir varias funciones al mismo tiempo. En primer lugar, permitir una evaluación seria de riesgos. En segundo lugar, asegurar que los principios de transparencia, imparcialidad y participación no queden enunciados de manera abstracta, sino concretados en reglas operativas. Y, en tercer lugar, ofrecer un marco de legitimación pública para la decisión de automatizar una tarea o un ámbito concreto.
Este punto es especialmente importante porque el paso del lenguaje jurídico al lenguaje informático no es neutro. Quien programa interpreta. Quien traduce la norma a código toma decisiones sobre su forma de aplicación. Por eso esa traducción debe someterse a mecanismos previos de validación y control.
Quien programa interpreta. Quien traduce la norma a código toma decisiones sobre su forma de aplicación.
Tercera garantía: supervisión independiente
La tercera garantía se mueve en el plano organizativo. Si el control del sistema no puede depender únicamente del órgano que lo usa, y si tampoco basta con confiar en la autorregulación administrativa, entonces se hace necesario incorporar una instancia independiente y especializada de supervisión que participe en la aprobación del sistema y en su validación.
Se hace necesario incorporar una instancia independiente y especializada de supervisión que participe en la aprobación del sistema y en su validación.
La razón de fondo es evidente: la especialización y la independencia son elementos determinantes en el caso de la inteligencia artificial, sobre todo si se tiene en cuenta que muchas Administraciones no cuentan hoy con medios suficientes para supervisar adecuadamente los sistemas que emplean. Cuando el control técnico interno es débil, el control institucional reforzado deja de ser una opción y se convierte en una necesidad.
La especialización y la independencia son elementos determinantes.
Transparencia, auditoría e impugnación
Junto a esas tres grandes garantías, hay otras exigencias que no pueden faltar en un modelo coherente de control efectivo.
La primera es la publicidad del propio uso de inteligencia artificial por la Administración. La existencia de sistemas algorítmicos empleados por el sector público debe ser conocida, y también deben serlo su lógica de funcionamiento, los datos de los que se nutren, el margen de error testado, el nivel de precisión verificado y los resultados de las auditorías realizadas.
La segunda es la auditabilidad. No basta con confiar en que el sistema funciona; hay que poder verificarlo, seguir su rendimiento a lo largo del tiempo y retirarlo si durante su ciclo de vida se demuestra que produce errores, alucinaciones o sesgos incompatibles con la función que desempeña.
La tercera es la posibilidad de impugnación. Todo modelo de gobernanza algorítmica que aspire a ser legítimo debe garantizar que las decisiones, previsiones o recomendaciones generadas por el sistema, o apoyadas en él, puedan ser revisadas y cuestionadas cuando presenten arbitrariedad, imprecisión técnica, sesgo o cualquier otra deficiencia incompatible con la buena administración y el principio de legalidad. Pero, junto con ello, debería poder atacarse directamente la herramienta a través del acto administrativo de aprobación previa antes mencionado.
Otras exigencias que no pueden faltar en un modelo coherente de control efectivo: publicidad del propio uso de inteligencia artificial, auditabilidad y posibilidad de impugnación
La buena administración empieza en el diseño
Desde esta perspectiva, el principio de buena administración adquiere un papel central. No basta con examinar la decisión final. También importa cómo se ha diseñado el sistema que contribuye a generarla, qué objetivos persigue, qué datos utiliza, qué límites incorpora y qué mecanismos de supervisión se han previsto, garantizando, además, la comprensibilidad de esa decisión.
Por eso el debate debería plantearse respecto de cómo introducir herramientas algorítmicas en la acción administrativa sin romper el vínculo entre poder público, legalidad y responsabilidad.
El debate debería plantearse respecto de cómo introducir herramientas algorítmicas en la acción administrativa sin romper el vínculo entre poder público, legalidad y responsabilidad.
Innovar sí, pero dentro del Estado de derecho
En el ámbito público, innovar no puede significar sustituir garantías por velocidad, ni opacidad por eficacia aparente, ni automatización por irresponsabilidad. El uso de inteligencia artificial solo será legítimo si se produce dentro del marco del Estado de derecho, con reglas claras, con supervisión suficiente y con plena conservación de la imputación jurídica de la decisión administrativa.
Autor/a: Isaac Martín Delgado*
* Estas ideas son parte de los resultados de las investigaciones que estamos llevando a cabo desde el Centro de Estudios Europeos “Luis Ortega Álvarez” en el marco de distintos proyectos de investigación y, particularmente, el Proyecto de Investigación ÍTACA-CLM, Inteligencia Artificial, automatización y contratación administrativa en Castilla-La Mancha (SBPLU/24/180225/000050), financiado por la Junta de Comunidades de Castilla-La Mancha a través de la Agencia de Investigación e Innovación de Castilla-La Mancha y cofinanciado por la Unión Europea a través del Fondo de Desarrollo Regional.