La inteligencia artificial y la pregunta que ningún desarrollador debería ignorar: ¿quién responde por los daños?

La inteligencia artificial y la pregunta que ningún desarrollador debería ignorar: ¿quién responde por los daños?

La inteligencia artificial y la pregunta que ningún desarrollador debería ignorar: ¿quién responde por los daños?

El 1er Congreso Nacional sobre Inteligencia Artificial para la Práctica Jurídica. El trabajo jurídico con IA exige conocimiento, supervisión y responsabilidad. Este Congreso analizará los errores que deben evitarse, los límites que deben respetarse y los criterios necesarios para verificar cada resultado. Innovar no significa delegar el razonamiento, sino aprender a utilizar la tecnología con mayor control.

Miguel Carbonell *

Abogado – Profesor – Escritor – Especialista en Derecho Constitucional

La conversación sobre los riesgos de la inteligencia artificial suele concentrarse en lo que estos sistemas serán capaces de hacer mañana. Hay, sin embargo, una pregunta jurídica que ya debe responderse hoy: ¿qué ocurre cuando una herramienta de IA causa un daño concreto a una persona?

En un artículo publicado en The Wall Street Journal, Andy Kessler sostiene que la posibilidad de enfrentar reclamaciones de responsabilidad puede ser un incentivo poderoso para que las empresas desarrollen sistemas más seguros. Su comparación con la conducción automatizada ayuda a entender el problema: a medida que un sistema asume más tareas y decisiones, resulta menos convincente atribuir cualquier fallo exclusivamente a la persona que lo utilizaba.

La cuestión tiene un alcance mucho mayor que el automóvil. Pensemos en una herramienta que ayuda a seleccionar candidatos para un empleo, un asistente que ofrece información médica o una aplicación que redacta documentos jurídicos. Si su resultado es erróneo y alguien sufre un perjuicio, ¿debe responder quien diseñó el modelo, quien lo incorporó a un producto, la organización que decidió utilizarlo o el profesional que confió en su respuesta?

La respuesta dependerá de los hechos. Precisamente por eso necesitamos dejar de hablar de «la IA» como si fuera un único sujeto que actúa por cuenta propia.

Una cadena de decisiones humanas

Mujer con cabello rizado, mostrando un gráfico digital en una pantalla, mientras sostiene un bolígrafo y una tableta.
© Centro Carbonell Online

Detrás de cada sistema hay decisiones identificables. Alguien define para qué servirá, elige los datos con los que se desarrolla, establece sus límites, decide cómo presentarlo al público y determina en qué condiciones puede utilizarse. Después, otra persona u organización puede integrarlo en un proceso de trabajo y confiar en sus resultados.

Cada eslabón tiene una capacidad distinta de prevenir daños. El desarrollador puede detectar ciertos fallos antes del lanzamiento. La empresa que implementa la herramienta puede impedir su uso en tareas para las que no fue evaluada. El profesional que recibe una respuesta puede contrastarla antes de actuar.

Por ello, preguntar «¿quién responde?» no debería conducir automáticamente a un único nombre. Un caso puede exigir examinar varias conductas, el control que cada participante tenía sobre el riesgo y las obligaciones que asumió frente a la persona afectada.

En la práctica jurídica, el ejemplo es cercano. Si un abogado presenta un escrito con una cita jurisprudencial inexistente producida por IA, debe explicar por qué incorporó esa referencia sin comprobarla. Esa obligación de revisión no resuelve, por sí sola, todas las preguntas sobre el diseño o la comercialización de la herramienta. Las responsabilidades de sus distintos participantes deben analizarse por separado.

Lo que aporta la responsabilidad civil

La posibilidad de reparar un daño obliga a tomar en serio los efectos de una tecnología fuera del laboratorio. Para una empresa, la seguridad deja de ser una promesa publicitaria cuando un fallo puede traducirse en una reclamación, una pérdida económica y la necesidad de explicar sus decisiones ante un tribunal.

En México existen reglas generales desde las cuales pueden examinarse estas controversias. El artículo 1910 del Código Civil Federal prevé la reparación del daño causado mediante una conducta ilícita. El artículo 1916 contempla el daño moral en los supuestos que regula. También existe una disposición sobre daños derivados del uso de mecanismos o instrumentos peligrosos, en el artículo 1913, pero no debe suponerse que todo sistema de IA encaja automáticamente en ella. Su posible aplicación requeriría justificarlo en el caso concreto. Además, el Código Civil Federal rige los asuntos del orden federal; según el conflicto, habrá que revisar la legislación local y las demás normas aplicables.

Estos marcos ofrecen puntos de partida, no respuestas mecánicas. En un litigio habrá que demostrar qué conducta se reprocha, qué daño ocurrió y cómo se relaciona uno con otra. También habrá que distinguir entre un error del sistema, una instrucción equivocada del usuario y la decisión de una organización de emplear la herramienta en un contexto inadecuado.

El problema de probar lo que sucedió

Aquí aparece una dificultad decisiva. La persona perjudicada puede conocer el resultado —una negativa de contratación, la divulgación de información o una recomendación perjudicial— sin saber qué datos, versiones del sistema o decisiones internas condujeron a él.

Manos escribiendo en un teclado con pantallas flotantes de código en el fondo.
© Centro Carbonell Online

Si la información necesaria para reconstruir el incidente está únicamente en manos del proveedor, reclamar una reparación puede volverse extraordinariamente difícil. Una responsabilidad que no puede investigarse ni probarse pierde buena parte de su capacidad para prevenir daños.

Por eso resultan tan relevantes medidas aparentemente técnicas como conservar registros, documentar cambios de versión, delimitar los usos previstos y establecer procedimientos para investigar incidentes. Sirven a las empresas para corregir fallos y a las personas afectadas para conocer qué sucedió.

En determinados usos también entran en juego obligaciones previas al daño. Por ejemplo, la Ley Federal de Protección de Datos Personales en Posesión de los Particulares exige a los responsables establecer y mantener medidas de seguridad administrativas, técnicas y físicas. El uso de una herramienta de IA para tratar datos personales debe examinarse a la luz de esas obligaciones, además de cualquier eventual reclamación posterior.

Prevenir y reparar

Sería un error plantear la discusión como una elección obligada entre regulación y responsabilidad. Cumplen funciones relacionadas, pero diferentes.

Las obligaciones preventivas pueden exigir controles antes de que una herramienta se utilice en una actividad sensible. La responsabilidad permite examinar un daño concreto, determinar quién debía evitarlo y, cuando proceda, repararlo. Una actúa antes del incidente; la otra adquiere especial importancia cuando la prevención falló.

Tampoco basta con escribir en las condiciones de uso que «la IA puede equivocarse». Una advertencia clara es útil para que el usuario comprenda los límites del producto. Su existencia, sin embargo, no sustituye el análisis de las obligaciones del proveedor ni convierte en razonable cualquier forma de comercializar o implementar el sistema.

Un hombre de negocios señalando una representación gráfica de inteligencia artificial con íconos de comunicación en un fondo oscuro.
© Centro Carbonell Online

Una agenda para la abogacía

Para quienes ejercen el derecho, la pregunta sobre la responsabilidad abre un campo de trabajo que va más allá de redactar avisos legales. Hay que saber investigar cómo se utilizó una herramienta, solicitar y valorar documentación técnica, reconstruir una cadena de decisiones, identificar deberes de cuidado y explicar con rigor la relación entre una conducta y un daño.

Las organizaciones que adoptan IA también necesitan asesoría jurídica antes de que surja un conflicto: qué tareas pueden automatizarse, cuáles requieren supervisión, qué datos pueden introducirse, cómo se verifican los resultados y quién tiene autoridad para detener el uso de una herramienta que falla.

La pregunta «¿quién responde?» no tiene una solución universal. Pero formularla desde el diseño y la implementación de los sistemas cambia las decisiones que se toman hoy. Obliga a precisar quién controla cada riesgo, qué comprobaciones son razonables y qué pruebas deben conservarse. Esa claridad puede ayudar tanto a prevenir daños como a ofrecer una respuesta justa cuando ocurran.


También te recomendamos…

Mujer sentada frente a una computadora portátil, participando en un curso sobre Arquitectura de Prompts, con fondo que incluye gráficos y un símbolo de justicia.
Gráfico promocional del Diplomado sobre Inteligencia Artificial para la Práctica Legal, organizado por el Centro de Estudios Carbonell, que destaca sus características principales como clases en vivo, duración de 33 horas y modalidad 100% en línea.
Imagen que muestra un curso sobre inteligencia artificial para el trabajo jurídico, con un instructor presentando en una pantalla y un grupo de estudiantes atentos en un entorno de aula.

Sígueme en redes sociales

Recibe nuevo contenido directamente en tu bandeja de entrada.

Deja un comentario

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

error: Content is protected !!

Descubre más desde Miguel Carbonell

Suscríbete ahora para seguir leyendo y obtener acceso al archivo completo.

Seguir leyendo