¿Quién responde cuando la IA se equivoca?

Es la pregunta que más incomoda a los directorios cuando la hacemos en una presentación. La IA de tu empresa tomó una decisión incorrecta que causó un perjuicio a un cliente. ¿Quién es responsable?

No es una pregunta hipotética. Es una situación que ya está ocurriendo en Argentina y en el mundo, y la ausencia de una respuesta clara es en sí misma un riesgo legal y reputacional.

El vacío de accountability en la mayoría de empresas

Cuando hay un error humano en una empresa, el sistema de responsabilidades es relativamente claro. Hay una persona, un cargo, un proceso, y una cadena de autorización. La accountability existe aunque no esté perfectamente definida.

Cuando la IA comete un error, ese sistema se rompe. El modelo no tiene cargo. No firmó nada. No puede ser sancionado. Y la cadena de responsabilidad entre el resultado del modelo y la persona que debería haber supervisado ese resultado raramente está definida.

Los tres vacíos más comunes

El primero es la ausencia de un AI Governance Role. En la mayoría de empresas medianas argentinas, nadie tiene la responsabilidad formal de supervisar el uso de IA. IT lo implementa, el negocio lo usa, y legal lo ignora hasta que hay un problema.

El segundo es la falta de mecanismos de revisión humana. Muchos sistemas automatizados no tienen un proceso claro para que un humano revise y revierta una decisión antes de que genere efectos. La automatización completa sin override humano es el escenario de mayor exposición.

El tercero es la ausencia de trazabilidad. Sin un registro de qué decisiones tomó el sistema, cuándo, con qué inputs y qué outputs, es imposible reconstruir lo que pasó ante un reclamo o una auditoría.

Qué exige el EU AI Act en materia de accountability

El artículo 14 del EU AI Act establece la obligatoriedad del human oversight para sistemas de alto riesgo. Básicamente, debe haber siempre una persona capaz de comprender el funcionamiento del sistema, detectar anomalías, y intervenir o suspender el sistema cuando sea necesario.

Esto no significa que un humano apruebe cada decisión. Significa que el sistema está diseñado para que la supervisión humana sea posible y efectiva.

El movimiento mínimo viable en accountability de IA

Tres cosas concretas que cualquier empresa puede implementar en 30 días.

Designar formalmente un responsable de governance de IA. Puede ser el CTO, el Compliance Officer, o incluso el CEO en empresas pequeñas. Lo importante es que haya un nombre y un cargo asociado a la supervisión de IA.

Documentar qué decisiones toma cada sistema de IA y quién es el responsable de revisar los casos excepcionales. Un documento de dos páginas por sistema es suficiente para empezar.

Implementar un proceso de registro de incidentes. Cuando algo sale mal con un sistema de IA, debe haber un canal para reportarlo, un responsable de investigarlo, y un registro de qué se hizo al respecto.

Ninguna de estas tres cosas requiere tecnología nueva ni grandes inversiones. Requieren decisión y media jornada de trabajo para implementarlas. El costo de no hacerlo es significativamente mayor.