La inteligencia artificial en clave jurídica

Propuesta de conceptualización y esbozo de los retos regulatorios

Una mirada europea

Por Teresa Rodríguez De Las Heras Ballell*[1]

I. La inteligencia artificial en la Estrategia digital de la Unión Europea [arriba] 

La Unión Europea viene mostrando una atención clara y decidida por incluir en su agenda legislativa las implicaciones de la disrupción tecnológica, guiada principalmente por la creciente automatización y el uso generalizado de la inteligencia artificial[2]. La preocupación, en particular, por encontrar un equilibrio adecuado entre, de un lado, el aprovechamiento de los beneficios y las oportunidades que indiscutiblemente ofrecen los ecosistemas tecnológicos y, de otro, la contención de los riesgos y la debida compensación de los daños que de su uso pueden derivar, ha centrado gran parte de las iniciativas para la revisión crítica y actualizada del sistema de responsabilidad.

De hecho, promover una Inteligencia Artificial (en adelante, IA) segura, fiable y de alta calidad en Europa se ha convertido en uno de los ejes vertebrales de la Estrategia Digital de la Unión Europea definida en el paquete estratégico adoptado el 19 de febrero de 2020. El Libro Blanco sobre IA[3] y el Informe sobre las implicaciones de seguridad y responsabilidad de la IA, IoT y robótica[4] definen las coordenadas para el futuro digital europeo[5]. Este último informe, en la parte relativa a los retos que para los regímenes de responsabilidad nacionales y europeo representan las tecnologías emergentes, se basa en el trabajo realizado por el Grupo de Expertos[6] y, en particular, en el informe publicado el 21 de noviembre de 2019, Report on Liability for Artificial Intelligence and other emerging technologies[7].

Este trabajo ofrece una mirada europea a los desafíos regulatorios y normativos, en el ámbito jurídico-privado, de las denominadas tecnologías emergentes y, en particular, de la IA. A través de la experiencia de la autora en dos de los dos grupos de expertos constituidos para asistir a la Comisión Europea en la identificación de los retos regulatorios, la definición de las líneas de política legislativa y, de forma muy especial, la elaboración de directrices y principios para la adaptación, en lo que resulte necesario, del marco normativo europeo y nacional de la responsabilidad, se presentan y esbozan los contornos del problema y el potencial ámbito de impacto.

Para ello, se propone como punto de partida la conceptualización de la IA en términos jurídicos para comenzar a apreciar, de un lado, el grado de disrupción con el que eventualmente estas tecnologías emergentes se desvían de las presunciones y concepciones clásicas y, de otro, para iniciar un proceso de descripción y posterior definición de conceptos que permitan delimitar el ámbito de aplicación y, así, el área real de impacto. Sólo entonces podremos intuir los puntos de fricción que estas realidades generan en su diseño, comercialización y uso con los principios y reglas convencionales de Derecho privado. Con estos objetivos, el trabajo se estructura en cuatro partes incluyendo esta breve introducción, dedicando las secciones II y III a la definición y conceptualización de la IA a partir de una propuesta de rasgos disruptivos y concluyendo con una identificación inicial de las áreas de impacto en la sección IV.

II. Punto de partida: definición y conceptualización jurídica de la inteligencia artificial para valorar su impacto [arriba] 

La atenta observación de la realidad debe ser el punto de partida para una reflexión jurídica más profunda sobre la necesidad de adaptación del marco normativo. Es fundamental comprender, primero, los nuevos fenómenos, entender las diversas aplicaciones de la tecnología, identificar qué aspectos de la tecnología pueden generar conflictos de interés y puntos de fricción, desprotección de ciertos bienes jurídicos que requieren atención normativa o mayores riesgos. Entonces, el siguiente paso ha de ser un esfuerzo de conceptualización antes de ponderar la adecuación de las reglas existentes.

Este proceso de acomodación de conceptos, principios y reglas a los embates tecnológicos se ha venido resolviendo, en particular, en las últimas décadas, con el efectivo recurso a un conjunto de principios internacionales, en concreto, el principio de equivalencia funcional y el principio de neutralidad tecnológica[8]. Ambos principios, magistralmente formulados en los textos internacionales sobre comercio electrónico y firma electrónica[9], venían apaciguando la disrupción y estabilizando el proceso de transición del marco vigente a los nuevos entornos tecnológicos. La constatación de un crecimiento no sólo acelerado sino exponencial[10] del cambio tecnológico complica especialmente este proceso secuencial de observación, valoración y adaptación del marco conceptual y normativo. Más aún, la sensación de transformación permanente ha agravado la percepción de desajuste entre la realidad y la respuesta normativa. Ciertamente, se constata que la acumulación de un ritmo exponencial de los avances con un conjunto de factores, que se explican a continuación, cuestiona la utilidad y la adecuación de un enfoque exclusivamente basado en la equivalencia funcional y la neutralidad tecnológica[11].

Sin embargo, una observación atenta, una valoración reposada y una respuesta jurídica meditada y contrastada siguen siendo las claves de una receta para afrontar la disrupción tecnológica, a pesar de su ritmo vertiginoso.

II.1.- La inteligencia artificial en el contexto de los ecosistemas tecnológicos

En el esfuerzo de comprensión del fenómeno, la primera propuesta es enmarcar la IA en una categoría más amplia de ecosistemas tecnológicos. Es decir, como se analiza a continuación, el potencial disruptivo de las denominadas tecnologías emergentes deriva, en gran medida, de la combinación sinérgica y el efecto amplificado de la convergencia tecnológica[12]. Los grandes problemas jurídicos no derivan individualmente del uso de IA, sino del hecho de que la inteligencia artificial forma parte de ecosistemas tecnológicos mucho más complejos, es decir, se combina con otras tecnologías, de modo que esta combinación de tecnologías genera un efecto multiplicador que es el detonante del verdadero efecto disruptivo.

Ilustremos esta idea con un ejemplo. Un vehículo autónomo es un ecosistema tecnológico que opera, mediante sofisticados sistemas de inteligencia artificial, sobre una infraestructura de interconexión (una flota de vehículos, proveedores de datos de tráfico y de mapas, infraestructura urbana conectada), que se alimenta de datos obtenidos de diferentes fuentes (sensores, información de tráfico, proveedores de mapas, personalización del usuario, instrucciones del operador, interconexión con otros vehículos de la flota) para adaptarse al entorno, aprender y adoptar decisiones complejas en el proceso de conducción. Así, observamos cómo los diversos desarrollos tecnológicos convergen en estos ecosistemas, cada vez más complejos, y de esta interacción sinérgica emergen sus efectos disruptivos más perceptibles. Esta visión macro, basada en el concepto de ecosistema tecnológico complejo, es clave para depurar la percepción de los riesgos y perfilar la identificación de los retos regulatorios.

No obstante la conveniencia de incorporar en el discurso jurídico el concepto de ecosistema tecnológico, la centralidad de la IA en la más reciente oleada de innovación tecnológica exige un tratamiento, al menos provisional y simbólico, separado. Si aproximamos nuestra mirada a los sistemas de IA como unidad de estudio[13], constatamos a su vez que se articulan sobre tres componentes. Primero, algoritmos. Un algoritmo es un proceso, una secuencia de instrucciones o de órdenes, para resolver un determinado problema de manera automatizada y repetitiva.

El algoritmo se alimenta para producir resultados esperados de otros dos componentes:

i) los datos, alimento fundamental de la IA para que cumpla sus propósitos[14]; pero, a la vez, fuente de su mayor vulnerabilidad por dependencia;

ii) las técnicas de aprendizaje (con base en modelos, inferencia de datos, redes neuronales).

En esta visión micro percibimos igualmente un alto nivel de complejidad, que se va a proyectar tanto en la pluralidad y la diversidad de los problemas, como en la amplitud de las áreas jurídicas de impacto. Así, ya podemos avanzar que habrá implicaciones evidentes en todas las dimensiones jurídicas del “Derecho de los datos”, a la vez que el tránsito del automatismo a la autonomía (con crecientes técnicas de aprendizaje) nos llevará a compartir reflexiones sobre los fundamentos del Derecho contractual y de la Responsabilidad.

II.2.- Riesgos y oportunidades: el lugar de la inteligencia artificial en la sociedad contemporánea

Las aplicaciones de la IA son transversales. Se aplican en multitud de sectores y para usos y en entornos muy diversos. Desde la automatización de tareas puramente mecánicas o materiales (almacenaje, reposición, localización, transporte), hasta la cada vez más compleja toma de decisiones para la contratación (negociación algorítmica en los mercados financieros), la clasificación (selección de personal, filtros de contenidos, rating), la resolución de conflictos (gestión de quejas, resolución de conflictos) o la interacción con humanos (asistentes personales, robots asistenciales, chatbots). Los riesgos son muy diversos y las cuestiones jurídicas que plantean también difieren significativamente en cada caso.

Los beneficios asociados al uso de algoritmos y la IA y esperados de una aplicación sistemática y extensa son numerosos[15]. Los sistemas guiados por algoritmos proporcionan celeridad, simplicidad y eficacia en la resolución de una multitud de problemas. La automatización reduce drásticamente los costes de transacción, permitiendo la prestación en condiciones razonables y competitivas de servicios que no serían rentables, o resultarían inasequibles o inviables en otras circunstancias. La reducción de costes explica, por ejemplo, el floreciente sector de los robo-asesores (robo-advisors)[16] que se han expandido el mercado más allá de los asesores financieros tradicionales con apreciables beneficios para los consumidores, al diversificar la oferta, aumentar la competencia y mejorar la inclusión financiera[17]. Tal expansión ha facilitado el asesoramiento financiero a pequeños patrimonios de inversión y a inversores de bajos ingresos en condiciones de mercado.

Por lo tanto, los sistemas basados en algoritmos pueden realizar tareas automatizadas y adoptar decisiones masivas de manera eficiente (negociación algorítmica de alta frecuencia, motores de búsqueda, reconocimiento facial, asistentes personales, traducción automática, algoritmos predictivos y sistemas de recomendación). El uso de algoritmos es crítico para prestación a gran escala de servicios críticos en nuestra sociedad que sería imposible o altamente ineficiente de otro modo (búsqueda, clasificación, filtrado, calificación, ranking).

Sin embargo, el uso de algoritmos de forma expansiva y creciente en nuestra sociedad puede ser también fuente de nuevos riesgos, conducir a resultados indeseados, tener consecuencias inesperadas o despertar preocupaciones jurídicas y desafíos sociales de muy variada índole. Las decisiones algorítmicas pueden resultar sesgadas o ser discriminatorias[18] como resultado de pre-condiciones prejuiciosas o basadas en estereotipos, un diseño inadecuado del algoritmo o un conjunto de datos para el entrenamiento y aprendizaje insuficiente o impreciso[19]. La automatización de las decisiones basadas en algoritmos hace que el sesgo devenga masivo, se amplifique y distorsione y gane fácilmente viralidad. En una sociedad densamente conectada como la nuestra la viralidad actúa como un amplificador de los efectos dañosos de cualquier acción. Los impactos negativos se expanden rápidamente, la magnitud de los daños se incrementa y la reversibilidad de los efectos se hace menos probable y cada vez más impracticable. La incorporación de técnicas de decisión y aprendizaje en sistemas basados en IA cada vez más sofisticadas añade una creciente imprevisibilidad sobre la respuesta futura. Todo ello conduce a una mayor imprevisión y una imparable complejidad que no siempre cohonesta con las reglas y fórmulas tradicionales para la atribución de la responsabilidad.

Los efectos negativos de la IA pueden tener manifestaciones muy variadas. En ciertos sectores, se pueden anticipar significativos perjuicios patrimoniales y daños personales (vehículos autónomos, drones, domótica, robótica asistencia). Sus aplicaciones en actividades financieras aparecen ligadas a riesgos sistémicos, amenazas a la estabilidad económica y la integridad financieras o respuestas cíclicas y shocks de mercado. El uso en rankings, servicios de selección de personal, filtrado de contenidos o asistentes virtuales para la gestión de quejas abre la puerta a un debate de gran calado sobre su impacto en derechos y libertades fundamentales -libertad de expresión, derecho a no ser discriminado, derecho al honor, derechos de la personalidad-, pero también en la estructura competitiva del mercado o en la lealtad de sus prácticas.

Ante la constatación de tales efectos potencialmente negativos, la cuestión fundamental es si los regímenes jurídicos tradicionales están preparados para gestionar los riesgos y resolver eficazmente los conflictos derivados estas situaciones en entornos tecnológicos complejos. A tal fin, deben identificarse unas características distintivas comunes y compararse con situaciones anteriores a las que las reglas están bien adaptadas. Tales características distintivas permitirían modelar una categoría jurídica de tecnologías disruptivas para probar la adaptabilidad y la idoneidad de las normas jurídicas existentes.

En este contexto, es importante tener en cuenta que el modelo analítico basado en un conjunto de características disruptivas, como se propone aquí, pretende únicamente sistematizar el potencial disruptivo de la tecnología, pero el reconocimiento del carácter disruptivo no nos aboca necesariamente a exigir la formulación de nuevas reglas. Una decisión de política legislativa totalmente legítima podría ser someter a las tecnologías disruptivas a las mismas reglas que las tecnologías anteriores sobre la base de que la neutralidad tecnológica es una opción óptima que permite seguir previniendo los riesgos de forma eficaz y compensando a la víctima de forma justa y razonable. De no ser así, la formulación de ciertas reglas especiales o a la adaptación de algunas de las existentes debería ser la respuesta más conveniente.

III. Propuesta: los rasgos disruptivos de la inteligencia artificial para la conceptualización y el análisis jurídico-privado [arriba] 

Para valorar la adecuación de las reglas existentes en materia de responsabilidad, en particular, a los riesgos generados y los daños potencialmente causados por ecosistemas tecnológicos con IA, es fundamental apreciar su verdadero efecto disruptivo. Es decir, en sí mismo, el uso de cierta tecnología, más o menos novedosa, no debería conducirnos de forma automática y precipitada ni a determinar la inaplicación de las reglas existentes ni a sugerir la conveniencia de una regulación específica. Más aún, pensar en la razonabilidad de una respuesta legislativa adaptada a una tecnología específica (Ley de Blockchain, Ley para la Inteligencia Artificial, etc.) plantea muchas dudas y alerta sobre los riesgos de una regulación diferencial no justificada.

Por ello, la propuesta fundamental en este trabajo que se planteó y acogió por el Grupo de Expertos sobre Responsabilidad y Nuevas Tecnologías es que deben identificarse los rasgos definitorios de esta nueva ola de tecnologías emergentes y convergentes y definir de manera abstracta a partir de estos rasgos su eventual potencial disruptivo. Sólo así podrá asegurarse que la respuesta legislativa no deviene obsoleta ante el imparable cambio tecnológico, evitarse la distorsión del mercado y de la competencia primando artificialmente ciertas soluciones o productos tecnológicos, y garantizarse que las soluciones jurídicas atienden de forma idéntica situaciones funcionalmente equivalentes.

Se proponen cuatro rasgos distintivos de estos ecosistemas con IA que muestran un potencial disruptivo apreciable que debe ser tomado en consideración para definir las opciones de política legislativa.

1. Complejidad

Las tecnologías emergentes, especialmente integradas en ecosistemas tecnológicos sofisticados, muestran un nivel considerable de complejidad. Tal complejidad se manifiesta en tres capas: complejidad de la lógica interna, pluralidad de participantes y fuentes que contribuyen al funcionamiento del sistema, y ecosistema de objetos conectados (sensores, actuadores, redes, softwares, oráculos, recolectores de datos y plataformas). Los algoritmos que conducen sistemas autónomos sofisticados tienen un alto nivel de complejidad en el diseño y en su operativa. Esto agrava la opacidad sobre el procesamiento interno del sistema autónomo, oculta los criterios relevantes que han guiado la decisión, y reduce la comprensibilidad de los resultados.

La complejidad también se manifiesta externamente, en el diseño, la operativa y el funcionamiento del sistema en su conjunto. En estos ecosistemas, participan una pluralidad de actores: desarrolladores de software y de aplicaciones, diseñadores de algoritmos, proveedores de datos, fabricantes de sensores, operadores de sistemas, productores de cada dispositivo, parte o componente, proveedores de DLT y proveedores de servicios de monitorización. Además, también incrementa la complejidad la multiplicidad de partes, componentes, dispositivos y sistemas que integran un ecosistema tecnológico (un automóvil autónomo, un sofisticado robot quirúrgico, un sistema de domótica).

2. Creciente nivel de autonomía

El segundo desafío que plantean estos ecosistemas tecnológicos está relacionado con el nivel creciente de autonomía y con las capacidades de aprendizaje[20] que los sistemas basados en IA, como agentes inteligentes, pueden tener.

Aumentar la autonomía de los sistemas basados en IA[21] representa uno de los factores más disruptivos de las tecnologías de segunda generación[22]. Autonomía, sin embargo, es una cuestión de grado o de escala[23]. Es necesario definir en qué punto a lo largo del proceso de adquisición de creciente autonomía, las soluciones tradicionales para la asignación de efectos legales y la atribución de responsabilidad[24] comienzan a ser inadecuados o inoperantes[25]. Es decir, asumimos que hay un punto de inflexión a partir del cual se puede comenzar a asumir que es preciso repensar las reglas de atribución, ajustarlas o formular unas nuevas.

Por el contrario, si este rasgo característico de la IA se considera puramente incremental, a pesar de la novedad y la intensidad aparente, un esfuerzo por preservar el sistema actual, bajo las pautas de neutralidad tecnológica y equivalencia funcional, debe ser la respuesta esperada y deseada. En ese sentido, las características disruptivas destacadas en este artículo describen los desafíos que la convergencia de estas tecnologías emergentes plantea, pero, como se anticipó, no necesariamente determina una respuesta jurídica necesariamente disruptiva ante tales desafíos.

3. Opacidad

Algoritmos cada vez más complejos impulsan sistemas autónomos con capacidades de autoaprendizaje que seleccionan candidatos para un trabajo, un préstamo o una subvención, definen perfiles, clasifican y filtran contenido digital, agrupan usuarios o redirigen spam, distribuyen falsas noticias (fake news)[26] o anuncios personalizados a los destinatarios preseleccionados como idóneos, alimentados por inmensas cantidades de datos recopilados a través de una variedad de fuentes e inferidas del comportamiento, de la interacción social, de las experiencias pasadas[27] y del curso de las transacciones. Los criterios sobre los cuales se basan las decisiones a menudo son desconocidos por el destinatario afectado y el diseño del proceso subyacente es opaco[28]. La falta de transparencia exacerba la complejidad y la incertidumbre a la hora de asignar las consecuencias de la responsabilidad.

En definitiva, los sistemas sofisticados basados en algoritmos que operan un ecosistema tecnológico -un automóvil autónomo, un sistema de hogar inteligente (Smart home) o un asesor automático en mercados financieros (robo-advisor)- no son suficientemente transparentes (“efecto de caja negra”)[29]. El complejo conjunto de instrucciones, criterios, peso relativo, datos y opciones alternativas normalmente no son visibles (ni fácilmente comprensibles) para el usuario final. Pero, lo más importante, en muchos casos, la mera transparencia de tales elementos no aseguraría una comprensión suficiente de los criterios que conducen a la toma de decisiones, las razones de un eventual mal funcionamiento o las causas que de forma efectiva provocan el daño. En suma, la explicabilidad de los complejos sistemas tecnológicos es limitada, costosa y no siempre es factible si se pretende lograr de forma plena[30].

La idea de la transparencia afecta a varios aspectos de una decisión algorítmica. Por un lado, la transparencia podría referirse a la accesibilidad y la comprensión del diseño y la operativa del proceso, así como al conocimiento específico de los criterios o las razones tomadas en cuenta para producir la decisión finalmente adoptada. En este sentido, la referencia a la explicabilidad podría estar relacionada tanto con el diseño general del algoritmo en términos abstractos o como con los criterios seguidos para cada decisión individual adoptada. Por otro lado, la transparencia también podría referirse a la mera divulgación de que la decisión no está tomada con intervención humana, sino que ha recaído exclusivamente en un sistema autónomo y, en tal caso, podría plantearse si tal información debería revelarse en todo caso o únicamente a petición del destinatario. Este enfoque ha inspirado el debate sobre el derecho a ser informado o el derecho a recibir una explicación en términos generales o en relación con las condiciones específicas sobre las que una decisión individual es adoptada en procesos basados exclusivamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzcan efectos jurídicos o afecten significativamente de algún modo al interesado en el contexto del Reglamento General de Protección de Datos[31].

4. Vulnerabilidad

Los sistemas de IA son tecnológicamente vulnerables. La vulnerabilidad se refiere a dos situaciones. Por un lado, los sistemas de IA dependen amplia e intensamente de los datos: datos recopilados, datos de aprendizaje, datos procesados, datos generados por la máquina, datos del usuario y datos basados en estrategias de personalización[32]. Los datos determinan la precisión de los resultados, alimentan las decisiones, catalizan el proceso de aprendizaje automático y garantizan el funcionamiento mismo del sistema. La dependencia de los datos representa una fuente de vulnerabilidad. Datos insuficientes, inexactos o sesgados comprometen el rendimiento del sistema de IA.

Por otro lado, los sistemas basados en IA están expuestos a ataques o brechas de ciberseguridad. En sistemas de IA complejos que manejan ecosistemas tecnológicos sofisticados -drones autónomos, vehículos autónomos, sistemas domésticos inteligentes- las consecuencias de una brecha de seguridad pueden ser catastróficas.

Todas estas características distintivas son cada vez más disruptivas, lo que disuade todo intento de simplificar el análisis de esta segunda generación de tecnologías emergentes. No son los simples cambios incrementales en la evolución de tecnologías anteriores. En algunos aspectos, han alcanzado un “punto de disrupción” que requiere un estudio más atento, cauto y en perspectiva de las consecuencias.

Dado el amplio uso y la variedad de aplicaciones de IA, la disrupción puede impactar sobre una multitud de reglas y disciplinas, como la privacidad, el Derecho de la competencia[33], la regulación financiera en todas sus capas, las normas de seguridad, el régimen de responsabilidad por producto defectuoso, la protección de los derechos fundamentales, cuestiones de puro Derecho contractual y responsabilidad civil. Entre ellos, la siguiente sección exclusivamente aborda algunos problemas jurídicos relacionados con el régimen de la responsabilidad, y sólo incidentalmente con algún aspecto contractual.

IV. Algunas áreas críticas de impacto de la inteligencia artificial: aspectos contractuales y de responsabilidad [arriba] 

Las características descritas anteriormente condensan el potencial disruptivo de la IA sobre diversas dimensiones jurídicas. Un análisis exhaustivo de todos estos posibles puntos de impacto supera el objetivo de este artículo y, de hecho, es un trabajo en progreso que tomará forma próximamente. Por lo tanto, el único propósito de esta sección final del artículo es esbozar una evaluación de impacto de la IA simplemente delimitando y categorizando los desafíos, conflictos y puntos de fricción que los rasgos definidos como disruptivos anuncian o nos permiten constatar, sin mayor detalle. Finalmente, algunas posibles respuestas también se exponen brevemente sobre la base de la taxonomía de los desafíos previamente trazados.

IV.1.- El impacto de la inteligencia artificial en las reglas de la responsabilidad

En primer lugar, las características disruptivas de la IA, como se han descrito anteriormente, tienen un evidente impacto en el régimen de la responsabilidad civil. Algunos conceptos clave que sustentan la lógica tradicional de la responsabilidad civil podrían verse sacudidos o cuestionados por tales características disruptivas. Esto puede conducir a que se constate que los regímenes existentes resultan insuficientes o parcialmente inadecuados.

La adecuación e integridad de los regímenes de responsabilidad frente a los desafíos tecnológicos tienen una extraordinaria relevancia social. Si el sistema de responsabilidad muestra insuficiencias, fallos o vacíos en el tratamiento de los daños causados por las tecnologías emergentes, las víctimas pueden enfrentarse a una situación de desprotección o de infra-compensación. El impacto social de una posible insuficiencia de los regímenes jurídicos existentes para abordar los nuevos riesgos creados por la IA podría comprometer los beneficios esperados del uso de estas tecnologías y agravar la percepción social de riesgo, lo que socava la tasa de aceptación de las tecnologías emergentes.

De la combinación de complejidad y opacidad, surgen de inmediato interesantes problemas prácticos y jurídicos. En todas las facetas, una complejidad inherente a los avances tecnológicos cada vez más intensa desencadena un problema práctico evidente de indiscutible relevancia jurídica: la participación de múltiples actores que podrían contribuir a la causación del daño. La existencia de una pluralidad de actores que contribuyen a la causación del daño no es ciertamente un problema nuevo para el Derecho de la responsabilidad, que, de hecho, proporciona soluciones para estos escenarios[34]. Sin embargo, en estos casos, la pluralidad de actores concurrentes actúa sin coordinación previa o sin una intervención planificada, la contribución podría ser ocasional o espontánea, y la participación de algunos de estos actores puede ser totalmente desconocida o incluso imprevista por los principales operadores (proveedor de datos, hacker, sistema no interoperable, usuario inexperto). Por lo tanto, en algunas circunstancias, un funcionamiento defectuoso o los resultados dañosos podrían ser provocados por la falta de interoperabilidad entre los componentes, la interacción inesperada con otros programas, los datos incorrectos, o el uso inexperto o inadecuado por parte del usuario. Así, el daño no puede atribuirse fácilmente a un componente específico, derivar de una causa bien definida o atribuirse a un solo actor. El daño deriva del ecosistema en su conjunto.

Frente a la clásica concepción monocausal de la responsabilidad, la creciente complejidad de los ecosistemas también conduce a una pluralidad de posibles causas. Con frecuencia, el daño resulta de una conjunción de posibles causas efectivas que han sido activadas colectivamente por múltiples actores. Esta situación tampoco es ajena a los sistemas jurídicos actuales. Reglas para resolver daños causados por múltiples causas están actualmente previstas en todas las jurisdicciones. No obstante, los sistemas de IA agregan importantes matices a este conocido problema. A diferencia de los productos tradicionales, una vez puestos en circulación en el mercado por el fabricante original, los actores posteriores pueden intervenir en la comercialización, el uso o el mantenimiento de productos tecnológicos sofisticados sin la participación del fabricante original. En consecuencia, en el ciclo de producción y el uso del producto, las actividades posteriores, las tareas adicionales y las intervenciones de otros actores pueden interferir y contribuir a la probabilidad del daño causado. Este proceso multicapa implica la superposición y la convergencia de muchas fuentes posibles del daño: actualizaciones de software, opciones de personalización por parte del usuario final, acciones de autoaprendizaje y recopilación de datos del entorno.

A todo lo anterior, la inherente opacidad de los sistemas agrega más complejidad. En un contexto de baja transparencia y explicabilidad limitada, es difícil identificar la/s causa/s. Por tanto, el proceso de descubrimiento y prueba se vuelve costoso y complicado y no siempre es factible.

La característica que hemos descrito como vulnerabilidad señala otros puntos débiles de los sistemas de IA que atacan básicamente el factor de la magnitud del riesgo. Las lesiones personales que un robot quirúrgico puede causar debido a datos incorrectos o un ataque de ciberseguridad pueden ser dramáticas. Asimismo, las consecuencias de una brecha de seguridad que interrumpe la operación de una flota de drones o vehículos autónomos pueden ser catastróficas. Además, el impacto de la responsabilidad también podría verse agravado por la multiplicación de los daños que resulta de la automatización y la expansión viral. El alcance del daño causado por la IA aumenta en la medida en que los daños pueden convertirse fácilmente en virales y propagarse rápidamente en nuestra sociedad densamente interconectada.

Finalmente, el factor de la creciente autonomía constituye uno de los efectos más perturbadores del discurso clásico que articula los regímenes de responsabilidad. Las reglas clásicas de responsabilidad están inspiradas en una concepción antropocéntrica de las acciones. Conceptos como culpa, conducta, intención, o deber de cuidado han sido concebidos, desarrollados, aplicados e interpretados esencialmente para, y en relación con los humanos: ¿a quién se le debe atribuir la responsabilidad si el resultado dañoso no está predeterminado por la programación sino, más bien, por el resultado de una “decisión autónoma” del sistema de IA?; ¿cómo deberían las nociones de culpa aplicarse a las “acciones” de los sistemas autónomos?; ¿cuál es el estándar de cuidado aplicable para evaluar el funcionamiento de un sistema autónomo impulsado por IA?

Todas estas preguntas pueden tener y, de hecho, tienen respuestas. Más aún, las respuestas no necesariamente van a ser disruptivas ni tienen por qué separarse abruptamente de las soluciones anteriores. De hecho, un enfoque acomodaticio de continuidad es una opción válida y legítima. Pero se necesita abrir un debate para valorar con detenimiento las consecuencias de las diversas decisiones posibles de política legislativa: la preservación de los regímenes de responsabilidad actuales, la eventual orientación hacia un estricto modelos de responsabilidad, la imposición de seguro obligatorio, la extensión de responsabilidad por producto defectuoso a productos y servicios actualmente no cubiertos por su ámbito de aplicación natural, la formulación de normas nuevas sobre la carga de la prueba, la creación de fondos de compensación sectoriales, o incluso el reconocimiento legal de la personalidad electrónica.

Los efectos sobre la innovación, sobre los costes de producción, sobre la tasa de aceptación de tecnologías emergentes por la población, y sobre la solidez del sistema, deben evaluarse e incluirse en la ecuación para la formulación de decisiones de política legislativa antes de optar un modelo definitivo.

IV.2.- Posibles impactos en las reglas aplicables a obligaciones y contratos

En segundo lugar, la creciente autonomía de los sistemas impulsados por IA, alimentada por la expansión de los datos y las crecientes capacidades de autoaprendizaje, plantea preguntas de mucho atractivo relacionadas con la comprensión clásica del Derecho de obligaciones y contratos[35].

Tanto las posibilidades como las limitaciones de los “contratos inteligentes” (Smart contracts) con obligaciones y remedios autoejecutables invitan a la reflexión sobre muchos fundamentos del Derecho contractual. A lo largo de las etapas de la formación del contrato surgen preguntas interesantes: sobre la comprensibilidad del lenguaje-máquina, la coincidencia entre el código y la intención real de las partes, los problemas derivados de errores o la falta de consentimiento en la incorporación de términos estándar y condiciones generales[36], las cuestiones de interpretación e integración, las limitaciones para el uso de principios generales y estándares de conducta (deber de cuidado, razonabilidad, buena fe, mejores esfuerzos) y la legalidad de la ejecución de remedios en caso de incumplimiento mediante medidas de autotutela y otras soluciones tecnológicas automáticas (self-help measures)[37].

Algunas de estas preocupaciones pueden ser abordadas y resueltas manteniendo un enfoque de equivalencia funcional, mientras que otras pueden requerir la consideración de soluciones algo más innovadoras.

IV.3.- El impacto en el ejercicio real y efectivo de la autonomía de la voluntad

En tercer lugar, la creciente automatización de una multitud de actividades, procesos de toma de decisiones, y tareas con relevancia jurídica e impacto real en los derechos de las personas abre un profundo debate sobre el pleno ejercicio de nuestra autonomía privada en un mundo de sistemas autónomos en expansión: anuncios personalizados, noticias preseleccionadas según nuestras preferencias y acciones previas, “silos ideológicos”, limitación de los servicios disponibles según perfiles y discriminación precios sobre la base de las características del destinatario. Ante estos desafíos que cuestionan la plenitud de la autonomía privada y el ejercicio efectivo de los otros derechos y libertades, se podría argumentar que es preciso abordar la configuración de nuevos derechos, ya sea como una evolución de los derechos existentes para ser acomodados en el nuevo entorno o como genuinos nuevos derechos para el mundo digital[38].

Las ideas descritas anteriormente son puramente un esbozo de posibles áreas de fricción que podría requerir atención legislativa: un profundo replanteamiento del concepto mismo de contrato y su papel en la sociedad (por ejemplo, los riesgo de exclusión asegurativa derivados de insurtech)[39], una recalibración de los remedios para responder a las creciente áreas dejadas potencialmente a la autotutela, el establecimiento de estándares para que las decisiones basadas en IA sean válidas y exigibles, la remodelación de los mecanismos de resolución de disputas y la incorporación de tecnologías para la prevención de ilícitos civiles.

Este trabajo tiene así la aspiración de señalar algunas áreas que requieren atención y evaluar la utilidad del modelo propuesto sobre las características disruptivas para tecnologías emergentes como marco de prueba. Un análisis profundo, meticuloso y detallado, como el que está realizando la Unión Europea, una reflexión amplia y plural, y una valoración contextualizada de las propuestas son absolutamente fundamentales para evaluar adecuadamente la adecuación de las reglas existentes a la segunda generación de la transformación tecnológica de la sociedad.

Notas [arriba] 

* Profesora Titular de Derecho Mercantil. Universidad Carlos III de Madrid. Email: teresa.rodriguezdelasheras@uc3m.es. ORCID - 0000-0001-8211-1801.

[1] La autora es miembro del Expert Group on Liability and new Technologies (New Technologies formation), que asiste a la Comisión Europea en la elaboración de principios y directrices para la adaptación de los marcos normativos europeo y nacionales de la responsabilidad ante los desafíos de las tecnologías digitales emergentes (Inteligencia Artificial, Internet de la Cosas, Big Data, Blockchain y DLT). El Grupo de Expertos emitió su Report on Liability for Artificial Intelligence and other emerging technologies que se publicó el 21 de noviembre de 2019 - disponible en https://ec.europa.eu /transparenc y/regexpert /index.cfm?do=group Detail.groupMe etingDoc&docid= 36608 -. Las opiniones vertidas por la autora en este trabajo son personales y no reflejan necesariamente ni la opinión del Grupo de Expertos ni la postura de la Comisión Europea. La autora es también miembro del Expert Group to the EU Observatory on the Online Platform Economy (the “EU Observatory”), de la Comisión Europea - https://ec.europ a.eu/digital-single-m arket/en/ex pert-group-eu- observatory- online-platform- economy -. Igualmente, en este caso, la autora presenta en este trabajo sus opiniones que no representan necesariamente ni las del Grupo de Expertos ni las de la Comisión Europea. Ha ocupado la Cátedra de Excelencia 2017-2018 UC3M-Santander en Oxford University, Harris Manchester College, Michaelmas Term 2017. Vicerrectora adjunta de Relaciones Internacionales y Cooperación, Universidad Carlos III de Madrid 2015-2019. Of Counsel, Andersen Tax & Legal. Árbitro de la Corte de Arbitraje de la Cámara de Comercio e Industria de Madrid y de la Corte Española de Arbitraje. Árbitro Experto para la resolución de conflictos relativos a nombre de dominio .es.Experta Miembro del Study Group de UNIDROIT para la redacción del MAC Protocol al Convenio de Ciudad del Cabo sobre garantías internacionales sobre equipo móvil. Delegada de España ante UNIDROIT para el MAC Protocol al Convenio de Ciudad del Cabo, Roma. Delegada de España ante CNUDMI/UNCITRAL, Grupo de Trabajo VI sobre Garantías Mobiliarias. Miembro del Aviation Working Group (AWG)’s Spanish Contact Group for work relating to the Cape Town Convention and its Aircraft Protocol for the implementation in Spain. Miembro del Rail Working Group (Luxembourg Protocol to Cape Town Convention). Vicepresidente del Grupo Internacional de Expertos en Nuevas Tecnologías, Prevención y Seguro de la AIDA (Asociación Internacional de Derecho del Seguro). Miembro electo del Consejo del ELI (European Law Institute). Miembro del Jurado de AUTOCONTROL de la Publicidad, 2014-2018. Titular de una de las scholarships del European Central Bank Legal Research Programme 2018 sobre regulación de Fintech, inter alia.
[2] Communication from the Commission to the European Parliament, the European Council, the Council, the European Economic and Social Committee and the Committee of the Regions, Artificial Intelligence for Europe, COM(2018) 237 final; Commission Staff Working Document, Liability for emerging digital technologies - Accompanying the document Communication from the Commission to the European Parliament, the European Council, the Council, the European Economic and Social Committee and the Committee of the Regions, Artificial intelligence for Europe, SWD(2018) 137 final; y en relación con los aspectos éticos y de fiabilidad el informe Ethics Guidelines For Trustworthy AI del High-Level Expert Group on Artificial Intelligence, de 8 de abril de 2019.
[3] White Paper on Artificial Intelligence -A European approach to excellence and trust, COM (2020) 65 final, Brussels, 19.2.2020.
[4] Report from the Commission to the European Parliament, the Council and the European Economic and Social Committee, Report on the safety and liability implications of Artificial Intelligence, the Internet of Things and robotics, COM (2020) 64 final, Brussels, 19.2.2020.
[5] Communication from the Commission to the European Parliament, the Council, the European Economic and Social Committee and the Committee of the Regions, Shaping Europe's digital future, COM (2020) 67 final, Brussels, 19.2.2020.
[6] Expert Group on Liability and new Technologies, en sus dos formaciones: New Technologies formation y Product Liability formation - https://ec.eur opa.eu/trans parency/reg expert/index .cfm?do=group Detail.groupD etail&gro upID=3592 -.
[7] Informe del Grupo de Expertos en su New Technologies formation: Report on Liability for Artificial Intelligence and other emerging technologies- disponible en https://ec.eu ropa.eu/tran sparency/regexp ert/index. cfm?do=groupD etail.groupMe etingDoc&d ocid=36608 -.
[8] Illescas Ortiz, Rafael: Derecho de la Contratación Electrónica, 3ª edición, Madrid, Civitas/Thomson Reuters, 2019.
[9] Destacada y esencialmente, los instrumentos de la CNUDMI (Comisión de Naciones Unidas para el Derecho Mercantil Internacional): Ley Modelo de Comercio Electrónico de 1996, Ley Modelo de Firma Electrónica de 2001, Convenio de 2005 sobre el Uso de Comunicaciones Electrónicas en el Comercio Internacional, Ley Modelo sobre Documentos Transmisible Electrónicos de 2017 - en www.uncitr al.un.org -.
[10] Kurzweil, Ray. (2001) The Law of Accelerating Returns. En https://www.k urzweilai.net/ the-law-of-ac celerating-retu rns (última consulta 15/2/2020).
[11] Así se plantea por la autora en Rodríguez de las Heras Ballell, Teresa. (2018). Digital Technology-Based Solutions for Enhanced Effectiveness of Secured Transactions Law: The Road to Perfection? Law and Contemporary Problems, Duke University School of Law, Vol. 81, num. 1, 2018, págs. 21-44.
[12] Como se propone y explica en Rodríguez de las Heras Ballell, Teresa. (2019). Legal challenges of artificial intelligence: modelling the disruptive features of emerging technologies and assessing their possible legal impact. Uniform Law Review, 1/2019, págs. 1-13.
[13] El término inteligencia artificial (IA) fue acuñado por primera vez en 1955 por John McCarthy, quien organizó la famosa Conferencia de Darthmouth (Dartmouth Summer Research Project on Artificial Intelligence) en 1956. McCarthy, John. (1959). Programs with Common Sense. Proceedings of the Teddington Conference on the Mechanization of Thought Processes, London: Her Majesty’s Stationery Office, pp. 756-791. El famoso artículo publicado por Turing, Alan (1950). Computing Machinery and Intelligence. Mind, num. 49, 1950, págs. 433-460 se considera un hito clave en el desarrollo de la investigación.
[14] La “IA fuerte” (Strong AI) describe el desarrollo previsto de máquinas y sistemas autónomos capaces de realizar capacidades cognitivas y capacidades intelectuales equivalentes e indistinguibles de seres humanos. El progreso tecnológico actual de última generación ha demostrado producir hasta la fecha máquinas y sistemas inteligentes basados en algoritmos y guiados por machine learning y deep learning. Eso se define como “IA débil” (Weak AI), “IA aplicada” (Applied AI) o “IA estrecha” (Narrow AI).
[15] Deloitte. (2018). Artificial Intelligence. Innovation Report.
[16] Deutsche Bank Research. (2017). Robo-Advice: A True Innovation in Asset Management. EU Monitor, Global Financial Markets, 10 August 2017, págs. 9.
[17] Bucher-Koenen, Tabea. (2010). Financial Literacy, Cognitive Abilites, and Long-term Decision Making: Five Essays on Individual Behavior, Inauguraldissertation zur Erlangung des akademischen Grades eines Doktors der Wirtschaftswissenschaften der Universität Mannheim.
[18] Chander, Anupam. (2017). The Racist Algorithm. 115 Michigan Law Review, pp. 1023-1046.
[19] Barocas, Solon y Selbst, Andrew D. (2016). Big Data’s Disparate Impact. 104 California Law Review, 2016, págs. 671-732.
[20] Burrell, J. (2016). How the Machine “Thinks”: Understanding Opacity in Machine Learning Algorithms. Big Data & Society, págs. 1-12.
[21] Scholz, Lauren Henry. (2017). Algorithmic Contracts. Stanford Technology Law Review, num. 20, págs. 101-139.
[22] La terminología “primera y segunda generación” para referirse a las sucesivas oleadas de tecnologías emergentes se emplea y explica por la autora en otras publicaciones previas. A tal efecto, Rodríguez de las Heras Ballell, Teresa: Challenges of Fintech to Financial Regulatory Strategies, Madrid, Marcial Pons, 2019, en particular, págs. 61 y siguientes.
[23] Parlamento Europeo, European Civil Law Rules in Robotics, Study for the JURI Committee, PE 571.379, 2016.
[24] Kroll, Joshua A. et al. (2017). Accountable Algorithms. University of Pennsylvania Law Review, num. 165, págs. 634-706.
[25] Rodríguez de las Heras Ballell, Teresa. (2010). Intermediación en la Red y responsabilidad civil: Sobre la aplicación de las reglas generales de la responsabilidad a las actividades de intermediación en la Red. Revista Española de Seguros, núm. 142, págs. 217-259; (2010). La responsabilidad de los prestadores de servicios de intermediación y los estratos de la intermediación en la Red. Revista Derecho y Tecnología, núm. 11, págs. 69-96.
[26] Rodríguez de las Heras Ballell, Teresa y Feliu Rey, Jorge. (2020) Digital Intermediary Liability or Greater Responsibility: A Remedy for Fake News? En Russel Weaver et al. (Eds.), Twenty-First Century Remedies. Comparative Perspectives, Global Papers Serie, Volume X, North Carolina: Carolina Academic Press, págs. 91-114.
[27] Dwork, Cynthia et al. (2012). Fairness through Awareness. 2012 Proceedings 3rd Innovations Theoretical Computer Science Conference, pp. 214-226.
[28] Ananny, Mike. (2016). Toward an Ethics of Algorithms Convening, Observation, Probability, and Timeliness. Science Technology and Human Values, vol. 41, págs. 1-25.
[29] Pasquale, Frank: The Black Box Society: The Secret Algorithms That Control Money and Information, Harvard University Press, Cambridge-London, 2015.
[30] Goodman, Bryce y Flaxman, Seth. (2016). EU Regulations on Algorithmic Decision-Making and a “Right to Explanation”. arXiv:1606.08813, disponible en https://arxiv.or g/pdf/1606.08 813v2. pdf. Wachter, Sandra; Mittelstadt, Brent y Floridi, Luciano. (2017). Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation (28 December 2016), International Data Privacy Law, disponible en https://ssrn.co m/abstrac t=2903469 or http://dx. doi.org/10.21 39/ssrn.2 903469.
[31] Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo de 27 de abril de 2016 relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos), L119/1, 4.5.2016. Art. 22: Decisiones individuales automatizadas, incluida la elaboración de perfiles:
“1. Todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar.
2. El apartado 1 no se aplicará si la decisión: a) es necesaria para la celebración o la ejecución de un contrato entre el interesado y un responsable del tratamiento; b) está autorizada por el Derecho de la Unión o de los Estados miembros que se aplique al responsable del tratamiento y que establezca asimismo medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado, o c) se basa en el consentimiento explícito del interesado.
3. En los casos a que se refiere el apartado 2, letras a) y c), el responsable del tratamiento adoptará las medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado, como mínimo el derecho a obtener intervención humana por parte del responsable, a expresar su punto de vista y a impugnar la decisión.
4. (…)”
[32] Rodríguez de las Heras Ballell, Teresa. (2009). Legal framework for personalization-based business models. En José Pazos-Arias, et al. (Eds.), Personalization of Interactive Multimedia Services: A Research and Development Perspective, Nueva York: NOVA, págs. 3-24.
[33] Rodríguez de las Heras Ballell, Teresa. (2014). Refusal to Deal, Abuse of Rights and Competition Law in Electronic Markets and Digital Communities. European Review of Private Law, vol. 22, 5-2014, págs. 685-702.
[34] Koch, Bernhard A. (2015). Proportional Liability for Causal Uncertainty. En Martin-Casals/ Papayannis, Uncertain Causation in Tort Law, Cambridge University Press; Magnus, U. (2004). Multiple Tortfeasors under German Law. En Rodgers (ed.), Unification of Tort Law, The Hague; Winiger/Koziol/Zimmermann/Koch (eds.): Digest of European Tort law I: Essential Cases on Natural Causation, Vienna, 2007; Winiger, B. (2007). Multiple Tortfeasors. En Tichy´ (ed.), Causation in Law, Praha.
[35] Feliu Rey, Jorge. (2018). Smart Contract: Concepto, ecosistema y principales cuestiones de Derecho privado. La Ley mercantil, núm. 47, págs. 1-25.
[36] Que ya no pueden resolverse con las soluciones propuestas y adoptadas para la incorporación de las condiciones generales en la contratación electrónica resultante de la aplicación de la primera generación de tecnologías digitales, Rodríguez de las Heras Ballell, Teresa. (2009). Terms of Use, Browse-Wrap Agreements and Technological Architecture: Spotting Possible Sources of Unconscionability in the Digital Era. Contratto e Impresa. Europa, 2/2009, págs. 841-861.
[37] Feliu Rey, Jorge. (2018). Autonomía privada y autotutela: oportunidades y riesgos en los smart contracts. En Tomás De La Cuadra Salcedo y José Luis Piñar Mañas (dir.), Sociedad Digital y Derecho, BOE, Madrid, págs. 811-834
[38] En la obra colectiva dirigida por De la Quadra Salcedo, Tomás y Piñar Mañas, José Luis (dir.): Sociedad Digital y Derecho, Madrid, BOE.
[39] Feliu Rey, Jorge. (2019). Algunas reflexiones sobre los efectos de la tecnología en la actividad aseguradora. En Marcelo Bauzá Reilly, El Derecho de las TIC en Iberoamérica, Uruguay, Fiadi-La Ley Uruguay, págs. 1105-1115.