La justicia civil y penal ante el reto de la inteligencia artificial: una aproximación

[pp. 129-160]

Andrea Planchadell Gargallo

Univ.

Profesora Titular de Derecho Procesal Universitat Jaume I (Castellón, España)

Sumario

1. Consideraciones previas.—2. Algunas precisiones conceptuales.— 3. Posibles ámbitos de aplicación.— 3.1. Gestión de la información a través de bases de datos.— 3.2. Automatización de tareas.— 3.3. Justicia predictiva (jurimetría).— 3.4. Ejercicio de la función jurisdiccional: investigación, prueba y toma de decisiones.— 4. A modo de cierre: retos ante la inteligencia artificial.— 5. Referencias bibliográficas.

Resumen

La justicia, tanto civil como penal, ha visto cómo la realidad en que se aplica ha sufrido importantes cambios en los últimos años, desde la crisis mundial provocada por el estallido de la burbuja inmobiliaria en la década del 2010, hasta la actual pandemia, que ha repercutido en todos los sectores profesionales, incluida la administración de justicia y cómo nos hemos relacionado con ella. Por poner dos ejemplos, la justicia civil ha debido “repensarse” para dar respuesta a reclamaciones masivas e idénticas de ciudadanos que habían adquirido ciertos productos bancarios. No menor ha sido el esfuerzo por adaptarse al uso de las nuevas tecnologías o cómo seguir dando respuesta a las reclamaciones ciudadanas de tutela judicial efectiva durante los meses de confinamiento. En este momento, uno de los retos más desconcertantes viene representado por la irrupción de la inteligencia artificial en la administración de justicia. En estas páginas se presenta una visión general de dicha problemática.

Palabras clave: Administración de justicia / Inteligencia artificial / Justicia predictiva.

ABSTRACT

Justice, both civil and criminal, has witnessed how the reality in which it is applied has changed in recent years, since the global crisis caused by the housing bubble explosion in the 10’s decade, to the current pandemic, which has impacted on all professional sectors, including justice administration and how we have related to it. To give two examples, civil justice had to “rethink” itself to give a response to massive and identical complaints of citizens that have bought some banking products. Also, the adaptation to new technologies and searching answers to citizens’ complaints about justice service has taken a big effort during the confinement months. At this moment, one of the most difficult challenges is represented by the artificial intelligence irruption in justice administration. These pages present a general overview of this problem.

Keywords: Justice administration / Artificial intelligence / Predictive justice.

Title: Civil and criminal law before the artificial intelligence challenge: an approach

Contenido exclusivo para suscriptores

Para leer el artículo completo necesitas iniciar sesión con tu código de suscriptor.

Iniciar sesión

¿No tienes suscripción? Suscríbete ahora

Andrea Planchadell Gargallo

La justicia civil y penal ante el reto de la inteligencia artificial: una aproximación

Número 81 • Marzo 2021 • pp. 129-160

Referencias Bibliográficas

1.
De hecho, nuestros tribunales pasaron de ser una de las instituciones más criticadas por los ciudadanos a una de las mejor valoradas debido a que comenzaron a ver que los tribunales “les protegían realmente”, por ejemplo, en los casos de cláusulas suelo, ciertas reclamaciones de consumo, etc. Volver
2.
Estamos ante la considerada, por Barona Vilar, como cuarta revolución industrial (4.0). Barona Vilar, Silvia, “Cuarta revolución industrial (4.0) o ciberindustria en el proceso penal: revolución digital, inteligencia artificial y el camino hacia la globalización de la justicia”, en Revista Jurídica Digital Uandes, vol. 3, n.° 1, Santiago: 2019, p. 2. Recuperado de <https://bit.ly/3t5zQ0M>. Volver
3.
Se habla incluso de sociedad algorítmica como aquella que se organiza en torno a la toma de decisiones sociales y económicas por algoritmos y cuya “gasolina” son los big data. Esta sociedad algorítmica pretende incrementar la oportunidad, velocidad y coste-efectividad de la toma de decisiones. Balkin, Jack M., “2016 Sidley Austin distinguished lecture on big data law and policy: the three laws of robotics in the age of big data”, en Ohio State Law Journal, vol. 78, n.° 5, Ohio: 2017, p. 1219. Recuperado de <https://bit.ly/3l2OHGB>; Goodman, Joanna, Robots in law. How artificial intelligence is transforming legal services, Londres: ARK Group, 2016, p. 9 y ss. Volver
4.
Son muchas las noticias que encontramos en la prensa al respecto, véanse: Confilegal, “China y Estonia desarrollan ‘jueces virtuales’ basados en inteligencia artificial para resolver demandas de cantidad”, en Confilegal, Madrid: 13 de octubre del 2019. Recuperado de <https://bit.ly/3viy1PX>; López Alonso, Eduardo, “La inteligencia artificial ya supera capacidades humanas”, en El Periódico, Barcelona: 19 de octubre del 2019. Recuperado de <https://bit.ly/3vg533n>. Lo que Isaac Asimov vaticinaba en la obra Yo robot en 1950 no es tanta ficción como pensamos cuando leímos por primera vez esas páginas. Volver
5.
Coincidimos con Barona Vilar cuando afirma que el reto es que “estos avances se desplieguen como servicio al ser humano y no al revés, o, lo que es lo mismo, que se presenten como herramientas que permitan lograr un futuro más próspero y confortable, más igualitario y humano, más solidario y más justo. Por ende, sirvan a la justicia para ser más justa”. Barona Vilar, “Cuarta revolución industrial (4.0) o ciberindustria en el proceso penal: revolución digital, inteligencia artificial y el camino hacia la globalización de la justicia”, art. cit., p. 7. Como indica Nieva Fenoll, en adaptarse a los avances tecnológicos el "derecho siempre da varios pasos detrás. Se da la contradicción de que usamos la inteligencia artificial en nuestra vida privada, pero somos reacios a hacerlo en la profesional". Nieva Fenoll, Jordi, Inteligencia artificial y proceso judicial, Madrid: Marcial Pons, 2018, p. 19. Véase Magro Servet, Vicente, “La aplicación de la inteligencia artificial en la administración de justicia”, en La Ley, Madrid: 27 de septiembre del 2018. Recuperado de <https:// bit.ly/3vl08OD>; Bueno de Mata, Federico, “Macrodatos, inteligencia artificial y proceso: luces y sombras”, en Revista General de Derecho Procesal, n.° 51, Madrid: mayo del 2020; Casabona Romero, Carlos, “Inteligencia artificial, derechos fundamentales y proceso penal”, en Comunicaciones en Propiedad Industrial y Derecho de la Competencia, n.° 89, Madrid: enero-abril del 2020, p. 253 y ss. Volver
6.
De hecho, este ha sido el objeto del último Congreso de Profesores de Derecho Procesal de las Universidades Españolas, celebrado el 7 y 8 de junio del 2019 en la Universidad de Valencia. Volver
7.
Vid. Schwab, Klaus, La cuarta revolución industrial, Barcelona: Debate, 2016. Recuperado de <https://bit.ly/3vt3y1Q>; Barona Vilar, “Cuarta revolución industrial (4.0) o ciberindustria en el proceso penal: revolución digital, inteligencia artificial y el camino hacia la globalización de la justicia”, art. cit., p. 2 y ss.; Corvalán, Juan G., “Inteligencia artificial: retos, desafíos y aportaciones. Prometea: la primera inteligencia artificial latinoamericana al servicio de la justicia”, en Revista de Investigações Constitucionais, vol. 5, n.° 1, Curitiba: enero-abril del 2018, p. 296. Recuperado de <https://bit.ly/3vhIomW>. Volver
8.
Los big data se caracterizan, según Cotino Hueso, por las 4-V: volumen (big); variedad de fuentes y naturaleza; velocidad en la gestión y actualización de los datos; y valor potencial. A ellas se añade una quinta, la veracidad, por cuanto debe garantizarse que no sean manipulados. Cotino Hueso, Lorenzo, “Big data e inteligencia artificial. Una aproximación a su tratamiento jurídico desde los derechos fundamentales”, en Dilemata, año 9, n.° 24, Madrid: 2017, pp. 131 y 132. Recuperado de <https://bit.ly/3rGUF28>. Volver
9.
Es más, no son pocas las voces que consideran que el derecho es un buen campo para la aplicación de la inteligencia artificial. Véase Rissland, Edwina L.; Kevin D. Ashley y R. P. Loui, “AI and law: a fruitful synergy”, en Artificial Intelligence, n.° 150, Amsterdam: 2003, p. 1 y ss. Recuperado de <https://bit. ly/3qHibL2>; Ashley, Kevin D., Artificial intelligence and legal analytics. New tools for law practice in the digital age, 3.a ed., Cambridge: Cambridge Univesity Press, 2018, p. 5; Barrio Andrés, Moisés, “Robótica, inteligencia artificial y derecho”, en Real Instituto Elcano, n.° 36, Madrid: septiembre del 2018, p. 1. Recuperado de <https://bit.ly/3t5AQSA>. Volver
10.
Para poner de manifiesto que el problema no es la máquina, sino el humano, Balkin explica las lecturas que se realizan el primer día de clase de la asignatura “Law and robots”, en la Universidad de Yale, por ejemplo, la del “Rabino y el Golem” y hace referencia a la “falacia del homúnculo”. Balkin, “2016 Sidley Austin distinguished lecture on big data law and policy: the three laws of robotics in the age of big data”, art. cit., pp. 1222-1225. Volver
11.
Corvalán, “Inteligencia artificial: retos, desafíos y aportaciones. Prometea: la primera inteligencia artificial latinoamericana al servicio de la justicia”, art. cit., p. 305. Volver
12.
Guzmán Fluja indica que estos sistemas, con todo y su constante evolución y perfeccionamiento, presentan ciertas limitaciones: los obstáculos derivados de la especificidad del lenguaje jurídico y su interpretación por la máquina; la necesidad de constante selección y adecuación de la información sometida a cambios; la dificultad para incorporar factores éticos, morales, políticos, criterios de equidad, principios generales, conceptos jurídicos indeterminados, que tienen su peso en las decisiones judiciales. Guzmán Fluja, Vicente, “Sobre la aplicación de la inteligencia artificial a la solución de conflictos. Reflexiones acerca de una transformación tan apasionante como compleja”, en Barona Vilar, Silvia (ed.), Justicia civil y penal en la era global, Valencia: Tirant Lo Blanch, 2017. En 1998, Taruffo ya advertía que entender las aplicaciones de la inteligencia artificial en el derecho exige conocer el funcionamiento del razonamiento judicial. Taruffo, Michele, “Judicial decisions and artificial intelligence”, en Artificial Intelligence and Law, n.° 6, Amsterdam: junio de 1998. Recuperado de <https://bit.ly/3vjmf7Z>. En sentido similar, se pronunció Bujosa Vadell. Vid. Bujosa Vadell, Lorenzo, “De iudicio. Variaciones en torno a la potestad y acto de juzgar”, AIS. Ars Iuris Salmanticensis, vol. 2, n.° 1, Salamanca: junio del 2014, p. 62. Recuperado de <https://bit.ly/3qzkUGt>. Volver
13.
Solar Cayón, José I., La inteligencia artificial jurídica. El impacto de la innovación tecnológica en la práctica del derecho y el mercado de servicios jurídicos, Navarra: Aranzadi, 2019, p. 18. En esta obra además se puede encontrar una detallada reflexión sobre los cambios que la inteligencia artificial puede traer a las profesiones jurídicas y al mercado laboral y la amenaza de la sustitución del hombre por la máquina. En sentido similar, Solar Cayón, José I., “La codificación predictiva: inteligencia artificial en la averiguación procesal de los hechos relevantes”, en Anuario de la Facultad de Derecho de Alcalá, n.° 19, Alcalá: 2018, p. 75 y ss. Recuperado de <https:// bit.ly/30FwXYc>; Goodman, Robots in law. How artificial intelligence is transforming legal services, ob. cit., p. 29 y ss.; Susskind, Richard y Daniel Susskind, El futuro de las profesiones. Cómo la tecnología transformará el trabajo de los expertos humanos, Zaragoza: Teell, 2016, passim. Volver
14.
Se utiliza por primera vez en una conferencia celebrada en 1955 en Dartmouth (Estados Unidos), entre cuyos asistentes se encontraban McCarthy, Minsky, Newel y Simon (“A proposal for the Dartmouth summer research project on artificial intelligence”, 31 de agosto de 1955). Allí se define la inteligencia artificial como “la ciencia y la ingeniería de fabricar máquinas inteligentes, en especial programas inteligentes de computación”, entendiendo por inteligente “la parte de la informática orientada a obtener resultados” considerando que todo aspecto del aprendizaje o cualquier otro rasgo de inteligencia puede describirse de manera tan precisa que una máquina puede hacerlo. El nacimiento de este término está unido al ordenador y al test de Turing. De lo que se trata es de dar respuesta a la interrogante de si planteándole una pregunta jurídica a un ordenador, a una máquina o a un robot este puede dar la misma respuesta que daría un humano experto en la materia. Dávara Rodríguez señala que el primero en utilizar el término inteligencia artificial fue Marvin Minsky en dicha conferencia. Dávara Rodríguez, Miguel A., “Introducción a los sistemas expertos”, en Informática y Derecho. Revista Iberoamericana de Derecho Informático, 1.a época, n.° 5, Salamanca: 1994, p. 909. Recuperado de <https://bit.ly/3l5X0RS>. Posteriormente, en la aplicación de la inteligencia artificial al derecho, destacan las aportaciones de Buchanan y Headrick, así como las obras de Susskind y Rissland, Ashley y Loui. Véase Buchanan, Bruce y Thomas Headrick, “Some speculation about artificial intelligence and legal reasoning”, en Stanford Law Review, vol. 23, Stanford: noviembre de 1970. Recuperado de <https:// bit.ly/30DsQw3>; Susskind, Richard E., “Expert systems in Law: A jurisprudential approach to artificial intelligence and legal reasoning”, en The Modern Law Review, vol. 49, n.° 2, Londres: marzo de 1986. Recuperado de <https://bit.ly/3lcc4gN>; Rissland et al., “AI and law: a fruitful synergy”, art. cit. Igualmente, aparece relativamente pronto prototipos como Hypo (1987), Shyster (1993) o Taxman (1997) que tuvieron mucho éxito. Volver
15.
Martínez Bahena, Goretty C., “La inteligencia artificial y su aplicación al campo del derecho”, en Alegatos. Revista Jurídica de la Universidad Autónoma Metropolitana, 2.a época, n.° 82, Ciudad de México: septiembrediciembre del 2012, pp. 828 y 829. Recuperado de <https://bit.ly/2ORiOos>; Vega Iracelay, Jorge J., “Inteligencia artificial y derecho: principios y propuestas para una gobernanza eficaz”, en Informática y Derecho. Revista Iberoamericana de Derecho Informático, 2.a época, n.° 5, Salamanca: 2.º semestre del 2018, p. 14. Recuperado de <https://bit. ly/3vf0KVT>. Corvalán señala la “capacidad de procesar información para resolver problemas en función de alcanzar objetivos”. Corvalán, “Inteligencia artificial: retos, desafíos y aportaciones. Prometea: la primera inteligencia artificial latinoamericana al servicio de la justicia”, art. cit., p. 298. Volver
16.
Fernández Hernández, Carlos y Pierre Boulat, “Inteligencia artificial y derecho. Problemas y perspectivas”, en Noticias Jurídicas, s/l:10 de abril del 2015. Recuperado de <https://bit.ly/2OM0U69>. Volver
17.
Nieva Fenoll considera que la creatividad no depende de si tenemos o no emociones, sino de que si se tienen los parámetros para ello la máquina actuará como si tuviera emociones, pero con mayor “frialdad escénica”. Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., p. 22; Cáceres, Enrique, “Inteligencia artificial, derecho y E-Justicie (el proyecto IIJ-Conacyt)”, en Boletín Mexicano de Derecho Comparado, n.° 116, Ciudad de México: mayo-agosto del 2006, p. 603. Volver
18.
Bourcier, Danièle, Inteligencia artificial y derecho, Barcelona: UOC, 2003, p. 56. Recuperado de <https://bit.ly/30vD0ib>; De Trazegnies Granda, Fernando, “¿Seguirán existiendo jueces en el futuro? El razonamiento judicial y la inteligencia artificial”, en Ius et Veritas, n.° 47, Lima: diciembre del 2013, p. 115. Recuperado de <https:// bit.ly/3vhAPNp>. Cáceres presenta una definición muy relacionada con el derecho: “Disciplina híbrida dedicada al desarrollo de programas cuyos productos finales, de ser atribuidos a un humano, presupondrían el procesamiento inteligente de la información por parte de un operador jurídico”. Cáceres, “Inteligencia artificial, derecho y E-Justicie (el proyecto IIJ-Conacyt)”, art. cit., p. 606. Volver
19.
Fernández Hernández y Boulat, “Inteligencia artificial y derecho. Problemas y perspectivas”, art. cit. Volver
20.
Dávara Rodríguez, “Introducción a los sistemas expertos”, art. cit., p. 911. El autor además indica que se trata de “un programa de ordenador en el que se ha representado el conocimiento de un experto y se ha imitado su forma de razonar para llegar a una conclusión”, a una solución o a tomar una decisión. Indica también que no estamos ante un sistema informático convencional (que contiene datos e instrucciones), sino ante uno que “procesa conocimientos representados mediante símbolos” y relacionados conforme a las reglas propias de cada rama o especialidad. Así pues, archiva y procesa no solo datos, sino también conocimientos y ofrece opciones para tomar una decisión. Asimismo, comunica al usuario la decisión tomada y por qué se considera la más acertada conforme a los datos y reglas. Dávara Rodríguez, “Introducción a los sistemas expertos”, art. cit., nota 6 y p. 912. Véase Fernández Hernández y Boulat, “Inteligencia artificial y derecho. Problemas y perspectivas”, art. cit.; Susskind, “Expert systems in Law: A jurisprudential approach to artificial intelligence and legal reasoning”, art. cit., p. 168 y ss. Volver
21.
Vid. Martínez Bahena, “La inteligencia artificial y su aplicación al campo del derecho”, art. cit., pp. 831-838; Ashley, Artificial intelligence and legal analytics. New tools for law practice in the digital age, ob. cit., p. 73 y ss.; Vega Iracelay, “Inteligencia artificial y derecho: principios y propuestas para una gobernanza eficaz”, art. cit., p. 20; Greinke, Andrew, “Legal expert systems. A humanistic critique of mechanical legal inference”, en Murdoch University Electronic Journal of Law, vol. 1, n.°, 4, Perth: diciembre de 1994. Recuperado de <https://bit.ly/38tM77t>; Pérez Estrada, Miren J., “El uso de algoritmos en el proceso penal y el derecho a un proceso con todas las garantías”, en Barona Vilar, Silvia (ed.), Claves de la justicia penal. Feminización, inteligencia artificial, supranacionalidad y seguridad, Valencia: Tirant Lo Blanch, 2019, p. 235; Lucatuorto, Pier Luigi M., “Intelligenza artificiale e diritto: le applicazioni giuridiche dei sistema esperti”, en Ciberspazio e Diritto. Rivista Internazionale di Informatica Giuridica, vol. 7, n.° 2, Módena: 2006, p. 2 y ss. Este autor además pone varios ejemplos utilizados en Italia, como el Decission Suport System (DSS). Volver
22.
Dávara Rodríguez, “Introducción a los sistemas expertos”, art. cit., p. 912. Volver
23.
Con detalle para cada uno de ellos, véase Dávara Rodríguez, “Introducción a los sistemas expertos”, art. cit., p. 912 y ss.; Fernández Hernández y Boulat, “Inteligencia artificial y derecho. Problemas y perspectivas”, art. cit. Volver
24.
Corvalán, “Inteligencia artificial: retos, desafíos y aportaciones. Prometea: la primera inteligencia artificial latinoamericana al servicio de la justicia”, art. cit., p. 299. Pérez Estrada los define como “serie de ecuaciones matemáticas que se entrelazan para proporcionar un resultado”, atendiendo a una instrucción concreta que sirve para solucionar el problema planteado. Pérez Estrada, “El uso de algoritmos en el proceso penal y el derecho a un proceso con todas las garantías”, art. cit., p. 238. Volver
25.
Vega Iracelay, “Inteligencia artificial y derecho: principios y propuestas para una gobernanza eficaz”, art. cit., p. 18. Volver
26.
Rissland et al., “AI and law: a fruitful synergy”, art. cit., p. 6 y ss. Con detalle, véase Bourcier, Inteligencia artificial y derecho, ob. cit., p. 56 y ss.; Greinke, “Legal expert systems. A humanistic critique of mechanical legal inference”, art. cit. Volver
27.
Por ejemplo, un remoto antecedente puede reconocerse claramente en el artículo publicado por Lucien Mehl, “Automation in the legal world”, en el marco de la conferencia sobre mecanización de los procesos del pensamiento en el año 1958 en Teddington (Gran Bretaña); e incluso antes de Mehl tenemos el artículo de Loevinger: “Jurimetrics. The next step forward”, publicado en la Minnesota Law Review en 1949. Véase Casanovas, Pompeu, “Derecho, tecnología, inteligencia artificial y web semántica. Un mundo para todos y para cada uno”, en Fabra Zamora, Jorge L. y Álvaro Núñez Vaquero (eds.), Enciclopedia de filosofía y teoría del derecho, t. I, Ciudad de México: UNAM, 2013.Recuperado de <https://bit.ly/2PWfqcj>. Volver
28.
Años antes Layman Allen ya había iniciado su programa de investigación utilizando la lógica para la interpretación y análisis de los documentos legales. Por ejemplo, en 1957 publicó el artículo “Symbolic logic: a razoredged tool for drafting and interpreting legal documents”, en la Yale Law Journal. Allen, Layman, “Symbolic logic: a razor-edged tool for drafting and interpreting legal documents”, en Yale Law Journal, vol. 66, Connecticut: 1957. Recuperado de <https:// bit.ly/3cwBgL2>. Volver
29.
Bourcier, Inteligencia artificial y derecho, ob. cit., pp. 18 y 19. Volver
30.
Ibid., p. 22. Volver
31.
Ibid., p. 23. Volver
32.
Guzmán Fluja, “Sobre la aplicación de la inteligencia artificial a la solución de conflictos. Reflexiones acerca de una transformación tan apasionante como compleja”, art. cit., p. 69. Volver
33.
Recientemente, el Décimo Juzgado de lo Social de las Palmas de Gran Canarias declaró “improcedente la rescisión de contrato de una trabajadora de una multinacional turística de origen grancanario que fue despedida, tras 13 años trabajando como administrativa, para ser suplida por un programa informático, o bot de gestión”. Noticias Jurídicas, “El despido de una trabajadora para sustituirla por un robot es improcedente”, en Noticias Jurídicas, s/l: 26 de septiembre del 2019. Recuperado de <https://bit.ly/3leboHE>. Volver
34.
Magro Servet, “La aplicación de la inteligencia artificial en la administración de justicia”, art. cit.; Solar Cayón, La inteligencia artificial jurídica. El impacto de la innovación tecnología en la práctica del derecho y el mercado de servicios, ob. cit., p. 92 y ss.; Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., p. 24 y ss.; Goodman, Robots in law. How artificial intelligence is transforming legal services, ob. cit., p. 12 y ss.; Casanovas, “Derecho, tecnología, inteligencia artificial y web semántica. Un mundo para todos y para cada uno”, art. cit.; Casanovas, Pompeu, “Inteligencia artificial y derecho. A vuelapluma”, en Teoría & Derecho, n.° 7, Valencia: 2010. Recuperado de <https://bit.ly/3qDLvlG>; Vega Iracelay, “Inteligencia artificial y derecho: principios y propuestas para una gobernanza eficaz”, art. cit., p. 21; Cáceres, “Inteligencia artificial, derecho y E-Justicie (el proyecto IIJ-Conacyt)”, art. cit., p. 606 y ss.; Ponce Solé, Juli, “La prevención de riesgos de mala administración y corrupción, la inteligencia artificial y el derecho a una buena administración”, en Revista Internacional Transparencia e Integridad, n.° 6, Madrid: enero-abril del 2018, p. 6 y ss. Recuperado de <https://bit. ly/3lhm3l1>; Belloso Martín, Nuria, “Entre la ciencia y la técnica del derecho. ¿Hacia una hermenéutica telemática?”, en Anales de la Cátedra Francisco Suárez, n.° 47, Granada: 2013, p. 139 y ss. Recuperado de <https://bit. ly/2OBOpdv>; Bonet Navarro, José, “La tutela judicial de los derechos no humanos. De la tramitación electrónica al proceso con robots autónomos”, en CEF Legal, n.° 208, Madrid: mayo del 2018, p. 73 y ss. Volver
35.
Por ejemplo, la Ley 22/2018, de 6 de noviembre, Ley de la Generalitat Valenciana, de Inspección General de Servicios y del Sistema de Alertas para la Prevención de Malas Prácticas en la Administración de la Generalitat y su Sector Público Instrumental. Recuperado de <https://bit.ly/3eOqUJt>. Volver
36.
Pensemos en las cada vez más sofisticadas bases de datos que utilizamos en nuestra actividad diaria. Lexis fue diseñada en 1973 y Westlaw en 1975 y desde entonces no han dejado de evolucionar y mejorar, tanto en la cantidad de información que contienen como en su organización y forma de acceder a ella. Se dice que la máquina Watson, que ganó el concurso Jeopardy en 2011, hoy aprobaría el examen de acceso a la abogacía en la mayoría de estados de EE. UU. Volver
37.
Solar Cayón, La inteligencia artificial jurídica. El impacto de la innovación tecnología en la práctica del derecho y el mercado de servicios, ob. cit., p. 106 y ss. Volver
38.
El Center for Access to Justice & Technology del Chicago Kent College of Law y el Center for Computer-Assisted Legal instruction de la misma universidad son ejemplos de cómo puede desarrollarse esta función. Goodman destaca la ventaja de fácil acceso a asesoramiento legal. Goodman, Robots in law. How artificial intelligence is transforming legal services, ob. cit., p. 91 y ss. Volver
39.
Aplicaciones como Ross, que combina machine learning y procesamiento de lenguaje natural, cambian completamente cómo trabajan los grandes despachos de abogados en Estados Unidos. (https://rossintelligence.com). Véase Goodman, Robots in law. How artificial intelligence is transforming legal services, ob. cit., p. 41 y ss.; Solar Cayón, “La codificación predictiva: inteligencia artificial en la averiguación procesal de los hechos relevantes”, art. cit., p. 77 y ss.; Lawton, D.; R. Stacey y G. Dodd, “E-discovery in digital forensic investigations”, Reino Unido: septiembre del 2014. Recuperado de <https://bit.ly/3tnY0E3>. Volver
40.
Por ejemplo, Self-Help Center, que presta asistencia jurídica gratuita online; ProBonoNet, que es un sistema integrado de prestación de servicios legales; W-LES, etc. Sobre estas cuestiones, véase Ashley, Artificial intelligence and legal analytics. New tools for law practice in the digital age, ob. cit., p. 5. Este autor destaca el papel de las argument retrieval (AR) y cognitive computing, que no se limitan a dar información (legislación, jurisprudencia, etc.), sino que presentan argumentos frente a un problema. Goodman recalca la trascendencia de lo que califica como virtual assistants, que facilitan el trabajo de los abogados gracias a la automatización y la rápida gestión de la información, pasando al abogado los temas complejos en que dicha automatización no es posible. Goodman, Robots in law. How artificial intelligence is transforming legal services, ob. cit., p. 29 y ss. Volver
41.
Así, podemos encontrar ingenieros o matemáticos que, junto con el jurista, trabajen en el desarrollo de las herramientas y de los algoritmos; responsables de gestión de proyectos jurídicos; consultores de gestión legal; gestores de riesgos; especialistas en cumplimiento normativo; etc. Volver
42.
En este sentido, Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., p. 24 y ss. Este autor considera que es bien poco lo que ex novo se realiza. Volver
43.
Holmes, Oliver, La senda del derecho, Buenos Aires: Abeledo Perrot, 1975, p. 21. Volver
44.
Solar Cayón, La inteligencia artificial jurídica. El impacto de la innovación tecnología en la práctica del derecho y el mercado de servicios, ob. cit., p. 130. Volver
45.
Lex Machina, “Lexis Nexis acquires premier legal analytics provider Lex Machina”, en Lex Machina, Nueva York: 23 de noviembre del 2015. Recuperado de <https://bit.ly/3qM783e>. La editorial Wolters & Kluwer ofrece ya a los despachos de abogados el producto Jurimetría, al que define como la “herramienta de analítica jurisprudencial más innovadora del mercado que permite definir la estrategia procesal más idónea para el éxito del caso, a través de indicadores gráficos interactivos, basados en el análisis cognitivo de millones de decisiones judiciales”. Wolters Kluwer, “¿Qué es jurimetría”, en Jurimetría, Madrid: s/f. Recuperado de <https://bit.ly/2OSpcvD>. Allí además encontramos un video muy ilustrativo que distingue entre jurimetría del caso, del magistrado, del abogado, de la empresa, del tribunal y del organismo público. Volver
46.
Existen en este sentido dos experiencias, una con el Tribunal Supremo de Estados Unidos y otra con el Tribunal Europeo de Derechos Humanos. Véase Aletras, Nikolaos; Dimitrios Tsarapatsanis; Daniel Preoţiuc-Pietro y Vasileios Lampos, “Predicting judicial decisions of the European Court of Human Rights: a natural language processing perspective”, en PeerJ Computer Science, San Diego: 2016. Recuperado de <https://bit.ly/3rGfqLu>. A un nivel más modesto, también se ha hecho con tribunales de Australia y Nueva Zelanda o India, entre otros. Vid. Simester, Duncan y Roderick Brodie, “Forecasting criminal sentencing decisions”, en International Journal of Forecasting, n.° 9, Massachusetts: 1993, p. 49. Volver
47.
Nieva Fenoll cita los programas Stevie, Echo o Peirce-IGTT, e incluso Alibi. Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., p. 26. Volver
48.
Adderley, Bond y Townsley le otorgan una fiabilidad del 68 % por encima de la humana. Adderley, Richard; John W. Bond y Michael Townsley, “Predicting crime scene attendance”, en International Journal of Police Science & Management, vol. 9, n.° 4, 2007, p. 312 y ss. Como afirma Nieva Fenoll, “si se puede disponer de una herramienta de inteligencia artificial que concrete esa experiencia [se refiere a la experiencia e intuición de la policía] y sobre todo explique su porqué, no solamente será posible descubrir crímenes con mayor eficacia, sino que las motivaciones de los jueces tendrán muy superiores posibilidades de ser más completas y correctas al estar más adecuadamente establecidas las premisas del razonamiento inferencial”. Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., p. 27. Sobre la utilidad para la investigación del delito y su prevención, véase Alcoceba Gil, Juan M., “Potencialidades y riesgos del Big Data, la minería de datos y machine learning como herramienta predictiva de la criminalidad”, en Jiménez Conde, Fernando; Rafael Bellido Penades (dirs.); Patricia Llopis Nadal y Elena de Luis García (coords.), Justicia. ¿Garantías versus eficiencia?, Valencia: Tirant Lo Blanch, 2019. Volver
49.
Virtobot es una herramienta creada por un equipo del Instituto de Medicina Legal de la Universidad de Berna (Suiza). Volver
50.
Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., p. 28. El autor hace referencia a “IBM’S Watson. What’s next debating”, video de YouTube en que se nos muestra como dado un tema de debate a la máquina, en muy poco tiempo elabora una lista de argumentos a favor o en contra del tema, con soporte documental. (Recuperado de <https://bit.ly/3to4dzP>). Volver
51.
Ashley pone de manifiesto que dado que la ley se basa en reglas y muchas de esas reglas se contienen en normas de distinto tipo, expresar lógicamente dichas reglas no es complejo a la hora de diseñar un sistema de razonamiento basado en ellas: el llamado statutory reasoning. Ashley, Artificial intelligence and legal analytics. New tools for law practice in the digital age, ob. cit., p. 38. Volver
52.
Aplicaciones o herramientas como Questmap, Argumed o Cato ayudan a estructurar argumentos jurídicos. Nieva Fenoll afirma: “Como apuntan varios entusiastas de la Inteligencia Artificial, es posible que en el futuro no hagan falta más juristas que ahora, sino quizá menos, aunque está por verse. Pero sí será imprescindible que tengan un alto nivel de excelencia para poderse salir del caso habitual en sus apreciaciones, yendo más allá de las posibilidades de la herramienta, porque de lo contrario no serán competitivos”. Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., p. 30. Dávara Rodríguez considera la ventaja de su utilización, no para sustituir al operador jurídico, sino para asistirle, “descargándole de funciones rutinarias y proporcionando un elemento inestimable de apoyo a su labor creativa”. Dávara Rodríguez, “Introducción a los sistemas expertos”, art. cit., p. 919. Atinadamente indica Casanovas que no se trata de pretender que el programa razone como un jurista o como un juez, sino que “sus resultados puedan incardinarse de forma inteligente en las tareas cotidianas que realizan los jueces y abogados”. Casanovas, “Derecho, tecnología, inteligencia artificial y web semántica. Un mundo para todos y para cada uno”, art. cit. Volver
53.
En la programación de estas herramientas se introducirán en el ordenador unos hechos, la legislación aplicable o las reglas relevantes (obviamente también puede introducirse o conectarse con una base de datos de jurisprudencia). El ordenador busca en qué regla o norma se contemplan los hechos indicados y aplica la norma siguiendo el modelo: si concurre A, entonces Y. Evidentemente, la información puede completarse con referencias a la jurisprudencia aplicable, a cómo se han resuelto casos anteriores, etc. Volver
54.
No obstante, se pueden elaborar algoritmos que imiten esas emociones y empatía; e incluso introducir en ellos información o decisiones que ya se vieron influidas por esas emociones. Volver
55.
Casanovas indica que el tema del juez artificial quedó fuera de la discusión cuando nació la Asociación Internacional para la Inteligencia Artificial y el Derecho (IAAIL, por sus siglas en inglés) en 1992. Casanovas, “Derecho, tecnología, inteligencia artificial y web semántica. Un mundo para todos y para cada uno”, art. cit. En este sentido, De la Oliva Santos afirma que “la aplicación de algoritmos por computadoras especialmente potentes no puede, por la misma naturaleza de las cosas (por la naturaleza de las matemáticas y de los algoritmos), sustituir la sensibilidad, la percepción y el pensamiento humano necesario para la interpretación normativa”. De la Oliva Santos, Andrés, “Justicia predictiva. Interpretación matemática de las normas, sentencias robóticas y la vieja historia del Justizklavier”, en El Cronista del Estado Social y Democrático de Derecho, n.°, 80, Madrid: mayo del 2019. Volver
56.
Ejemplo de ello, por no citar a Hal900 (Heuristically Programmed Algorithmic Computer, [Ordenador Algorítmico Programado Heurísticamente]) en la recurrente 2001. Una Odisea del espacio de Arthur C. Clarke (publicada en 1968 y llevada al cine por Stanley Kubrik), es el cuento de Frederic Brown, “Answer”, incluido en la colección de relatos cortos Angels and spaceships, citado por William Bryk en “Artificial superintelligence: the coming revolution”: “Año 204. En un soleado día, un grupo de desarrolladores de software de Silicon Valley que trabajan en un garaje, acaban de completar con éxito el diseño de un programa que simula una red neuronal humana en una interfaz informática. Habían descubierto un nuevo algoritmo de machine learning y querían probarlo. Dieron a la nueva red la habilidad de aprender y rediseñarse con un nuevo código y le dan al programa acceso a internet para que pueda buscar texto para analizar. Los jóvenes ponen en marcha el programa y salen a celebrarlo al bar Chipotle. Cuando regresan a casa, camino al garaje se sorprenden al ver el coche del FBI aproximándose a su calle. Corren al interior del garaje y comprueban el programa. En la pantalla, el ordenador muestra el mensaje ‘Programa completo’. El programador escribe: ‘¿Qué has leído?’. Y el programa responde: ‘Todo. Pregúntame cualquier cosa’. Tras deliberar unos segundos, uno de los programadores escribe, con las manos temblorosas ‘¿Existe Dios?’ y el ordenador responde de forma inmediata: ‘Ahora sí’”. Brown, Frederic, “Answer”, citado por William Bryk, “Artificial superintelligence: the coming revolution”, en Harvard Science Review, Cambridge: 4 de diciembre del 2015. Recuperado de <https://bit.ly/3qLJQuy>. La traducción es nuestra. Volver
57.
Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., p. 56. Volver
58.
Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., p. 56. Volver
59.
Nieva Fenoll reconoce que “esta es probablemente la temática que puede dar más miedo: que una máquina pueda dictar sentencias, de manera que nuestro destino esté en manos no de personas como nosotros, sino de una aplicación que solo decide en función de variables estadísticas y que, por ello, resolverá siempre de la misma forma, no solamente no adaptándose a los cambios, sino reafirmando sus prejuicios con el paso del tiempo”. Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., p. 99. Véase Kehl, Danielle; Priscilla Guo y Samuel Kessler, “Algorithms in the criminal justice system: assessing the use of risk assessments in sentencing”, en Responsive Communities, Cambridge: julio del 2017. Recuperado de <https://bit.ly/3rF9zGa>; Taruffo, Michele, “Statistics notes about statistical evidence”, en Cruz Arenhart, Sergio y Daniel Mitidiero (coords.), O processo civil. Entre a tecnica processual e a tutela dos direitos. Estudos em homenagem a Luiz Guilherme Marinoni, São Paulo: Revista dos Tribunas, 2017, p. 150. Volver
60.
Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., p. 89. Volver
61.
De Keisser, Roberts y Ryberg apuntan que estos sistemas ya despertaron la atención cuando en los años setenta se tomaron en consideración para la incapacitación selectiva o en la Bail Reform Act de 1984, en que basándose en la peligrosidad futura se tomaba la decisión sobre la medida cautelar más adecuada, sistema avalado por la Sentencia US vs. Salerno. De Keijser, Jan W.; Julian V. Roberts y Jesper Ryberg (eds.), Predictive sentencing. Normative and empirical perspectives, Oxford: Hart Publishing, 2019, p. 1. Van Ginneken, Esther, “The use of risk assessment in sentencing”, en De Keijser, Jan W.; Julian V. Roberts y Jesper Ryberg (eds.), Predictive sentencing. Normative and empirical perspectives, Oxford: Hart Publishing, 2019, p. 9 y ss.; Ryberg, Jesper, “Risk and retribution. On the possibility of reconciling consideration of dangerousness and desert”, en De Keijser, Jan W.; Julian V. Roberts y Jesper Ryberg (eds.), Predictive sentencing. Normative and empirical perspectives, Oxford: Hart Publishing, 2019, p. 51 y ss.; y Hannah-Moff, Kelly y Kelly Struthers Montford, “Unpacking sentencing algorithms: risk, social accountability and data harms”, en De Keijser, Jan W.; Julian V. Roberts y Jesper Ryberg (eds.), Predictive sentencing. Normative and empirical perspectives, Oxford: Hart Publishing, 2019, p. 175 y ss.; Rose, William, “Crimes of color: risk, profiling and the contemporary racialization of social control”, en International Journal of Politics, Culture and Society, vol. 16, n.° 2, Berlín: diciembre del 2002, pp. 185 y 186. Volver
62.
Rose habla de sociedad de riesgo y sociedad orientada al futuro. Rose, “Crimes of color: risk, profiling and the contemporary racialization of social control”, art. cit., p. 191. Romero Casabona niega el argumento esgrimido a favor de la aparente objetividad de estas predicciones, de las que se afirma que eliminan los componentes subjetivos (prejuicios, empatías o su falta, estado de ánimo…) y “despersonalizan” al delincuente. Considera que con estas herramientas de predicción, en realidad, sucede lo contrario, añadiendo además el riesgo de sobrevalorar la fiabilidad de las nuevas tecnologías. Romero Casabona, Carlos M., “Riesgo, procedimientos actuales basados en inteligencia artificial y medidas de seguridad”, en Revista de Derecho, Empresa y Sociedad, n.° 13, Bilbao: julio-diciembre del 2018, p. 39 y ss. Recuperado de <https://bit.ly/3bFNFwX>. En sentido similar se pronuncian: Cotino Hueso, “Big data e inteligencia artificial. Una aproximación a su tratamiento jurídico desde los derechos fundamentales”, art. cit., p. 135; Alcoceba Gil, “Potencialidades y riesgos del big data, la minería de datos y machine learning como herramienta predictiva de la criminalidad”, art. cit. Volver
63.
State v. Loomis 881 N.W. 2d 749 (Wiss. 2016), donde se reconocen las limitaciones del sistema y que Compas no pueda ser utilizado para determinar si el sujeto debe ser encarcelado o para tomar en consideración agravantes o atenuantes. Véase un comentario a dicha sentencia en Harvard Law Review, “Criminal Law. Sentencing Guidelines. Wisconsin Supreme Court requires warning before use of Algorithmic Risk Assessments in Sentencing. State v. Loomis, 881 N.W. 2d 749 (Wis. 2016)”, en Harvard Law Review, vol. 130, n.° 5, Cambridge: marzo del 2017, p. 1530 y ss. Recuperado de <https://bit.ly/3cxxtgn>; Pérez Estrada, “El uso de algoritmos en el proceso penal y el derecho a un proceso con todas las garantías”, art. cit., pp. 236 y 237; Thadaney Israni, Ellora, “When an algorithm helps send you to prison”, en The New York Times, Nueva York: 26 de octubre del 2017. Recuperado de <https://nyti.ms/2PPNuqm>. Volver
64.
Los cierto es que desde hace algunos años que un número importante de estados están utilizando herramientas de predicción, la más conocida es Compas, por ejemplo, Oregon, Oklahoma, Texas, California, Nebraska, Colorado, Indiana, Ohio, Delaware, Washington, Arizona, Virginia o Alabama. Se pretende evaluar el presente y pasado del sujeto comparándolo con un grupo concreto de origen y características similares. Los datos que permiten la comparación se obtienen del historial del sujeto partiendo de un documento detallado de sus antecedentes y de un cuestionario de 137 preguntas que se le realizan; por ejemplo, si alguno de los progenitores ha estado en prisión, si alguno de sus amigos toma drogas, etc. Volver
65.
Sobre esta problemática en general, véase Sánchez García, Luz, “Las invenciones generadas con inteligencia artificial y sus implicaciones para el derecho de patentes”, en Informática y Derecho. Revista Iberoamericana de Derecho Informático, 2.a época, n.° 5, Salamanca: 2.º semestre del 2018, p. 49 y ss. Recuperado de <https://bit.ly/3vf0KVT>; Garza Barbosa, Roberto, “Nanotecnología, derecho y propiedad intelectual. La evolución de una sinergia poco probable”, en Informática y Derecho. Revista Iberoamericana de Derecho Informático, 2.a época, n.° 5, Salamanca: 2.º semestre del 2018, p. 95 y ss. Recuperado de <https://bit.ly/3vf0KVT>. Volver
66.
Corvalán, “Inteligencia artificial: retos, desafíos y aportaciones. Prometea: la primera inteligencia artificial latinoamericana al servicio de la justicia”, art. cit., p. 306. Volver
67.
Goodman, Robots in law. How artificial intelligence is transforming legal services, ob. cit., p. 101 y ss.; Cotino Hueso, “Big data e inteligencia artificial. Una aproximación a su tratamiento jurídico desde los derechos fundamentales”, art. cit., p. 136 y ss.; Martín Diz, Fernando, “Inteligencia artificial y proceso: garantías frente a eficiencia en el entorno de los derechos procesales fundamentales”, en Jiménez Conde, Fernando; Rafael Bellido Penades (dirs.); Patricia Llopis Nadal y Elena de Luis García (coords.), Justicia. ¿Garantías versus eficiencia?, Valencia: Tirant Lo Blanch, 2019. Volver
68.
Comisión Europea, “Comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones. Inteligencia artificial para Europa. COM (2018) 237 final”, art. cit., p. 4 y ss.; Comisión Europea, “Comunicación de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones. Generar confianza en la inteligencia artificial centrada en el ser humano. COM (2019) 168 final”, art. cit. Volver
69.
Corvalán, “Inteligencia artificial: retos, desafíos y aportaciones. Prometea: la primera inteligencia artificial latinoamericana al servicio de la justicia”, art. cit., p. 310. Volver
70.
Resolución del Parlamento Europeo referida a las normas de derecho civil sobre robótica, de 16 de febrero del 2017. Volver
71.
Ebers, Martin, “La utilización de agentes electrónicos inteligentes en el tráfico jurídico: ¿necesitamos reglas especiales en el derecho de la responsabilidad civil?”, en InDret. Revista para el Análisis del Derecho, año 17, n.° 3, Barcelona: julio del 2016, p. 5 y ss. Recuperado de <https://bit.ly/3rCbqf6>. Volver
72.
Corvalán, “Inteligencia artificial: retos, desafíos y aportaciones. Prometea: la primera inteligencia artificial latinoamericana al servicio de la justicia”, art. cit., p. 308; Martín Diz, “Inteligencia artificial y proceso: garantías frente a eficiencia en el entorno de los derechos procesales fundamentales”, art. cit.; Pérez Estrada, “El uso de algoritmos en el proceso penal y el derecho a un proceso con todas las garantías”, art. cit., p. 242 y ss. Volver
73.
Basta una lectura de las causas de recusación del art. 219 de la LOPJ para darnos cuenta de que plasman “emociones”, esto es, afectos, desafectos, afinidades, enemistades, etc. Volver
74.
Seymour, William, “Detecting bias: does an algorithm have to be transparent in order to be fair?”, en iConference, Sheffield: 2018. Recuperado de <https://bit.ly/2NeMD1G>; Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., p. 139. El autor relaciona claramente los problemas del principio de publicidad con El proceso de Kafka. Volver
75.
Corvalán, “Inteligencia artificial: retos, desafíos y aportaciones. Prometea: la primera inteligencia artificial latinoamericana al servicio de la justicia”, art. cit., p. 305. Nieva Fenoll insiste en esta idea: “[A]l poder público le sería sencillísimo generar una herramienta de resolución de procesos, después hacer que la ciudadanía confíe en la misma […], dedicándose seguidamente a dirigir nuestras vidas arbitrariamente manipulando los algoritmos a su conveniencia en cada momento. Sin darnos cuenta, el poder judicial habría desaparecido como tal […], el poder judicial dejaría de ser independiente, es decir, perdería su garantía esencial”. Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., pp. 142 y 143. Volver
76.
Véase el Acuerdo de la Sala de Gobierno del Tribunal Supremo de 20 de abril del 2016, sobre la extensión máxima y otras condiciones extrínsecas de los escritos procesales referidos al recurso de casación ante la Sala Tercera. Volver
77.
Nieva Fenoll considera que, si el proceso en su conjunto se lleva a cabo artificialmente, dejaría de tener sentido tal y como hoy lo conocemos, por ejemplo, no tendría sentido separar las funciones de investigación y enjuiciamiento, tampoco necesitaríamos al Ministerio Fiscal. En este sentido, afirma que “digerir lo anterior puede ser verdaderamente complejo, porque rompe completamente un paradigma”. Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., pp. 148 y 149. Volver
78.
Cada vez que navegamos por la red, dejamos un rastro disperso de nosotros mismos en las páginas que visitamos, las opiniones que vertemos en redes sociales, las fotos que subimos a nuestros servicios de almacenamiento o que comentamos de otros, etc. Todos estos datos comprenden un enorme volumen de información de cada usuario cuyos usos en muchas ocasiones desconocemos. Así, IBM estima que durante los próximos años se invertirá el 83 % de los fondos destinados a innovación tecnológica en la construcción de herramientas capaces de analizar grandes bases de datos y extraer conclusiones entendibles. La consultora Mckinsey lo considera la próxima gran revolución tras la eclosión de la “nube”. Volver
79.
Nieva Fenoll sostiene que “un uso abusivo de la misma, o más bien a destiempo de sus resultados, daría al traste con la garantía que supone la presunción de inocencia al introducirse en el enjuiciamiento un elemento ajeno a la consideración de la culpabilidad”. Nieva Fenoll, Inteligencia artificial y proceso judicial, ob. cit., p. 514. Volver

Comentarios

Suscripción 2027

AGOSTO 2026 - JULIO 2027

La revista de referencia obligatoria

Para jueces, fiscales y abogados penalistas con rigor dogmático y soluciones prácticas

Suscribirme ahora

Esta obra está bajo licencia internacional Creative Commons Reconocimiento 4.0.