Tabla de contenido0
En un mundo cada vez más mediado tecnológicamente, la ética, los valores y la responsabilidad se están revelando como elementos cada vez más importantes no solo en las estrategias empresariales, sino en el desarrollo tecnológico, para fortalecer y guiar innovaciones que puedan ser aceptadas de forma mayoritaria en la sociedad.
Ocurrió en 2017, en ese año la aviación civil batió un récord histórico de seguridad con más de 35,6 millones de vuelos sin una sola víctima mortal. Sin embargo, a finales de 2018 y comienzos de 2019 esta racha se truncó debido a varios incidentes que involucraron específicamente a un nuevo modelo de avión, que se había puesto en funcionamiento recientemente.
El ya trágicamente famoso Boeing 737 Max apareció en los titulares de medio mundo por trágicos accidentes que ponían en entredicho la seguridad de una aeronave de última generación. Dicho avión incorporaba un nuevo software denominado MCAS (Maneuvering Characteristics Augmentation System), cuya misión era optimizar el perfil de vuelo y mantener la aeronave en una trayectoria segura. El resto de la historia es conocida por el público en general: lo que había sido concebido como una innovación orientada a imponer el liderazgo de la compañía norteamericana en el sector, ha acabado como uno de los mayores fracasos de la aviación comercial.
Hasta el momento, sabemos relativamente poco del caso y de las causas particulares que hicieron posible esta hecatombe, pero parece que los motivos que se esconden detrás, son básicamente los mismos que históricamente han hecho fracasar a las innovaciones que no tienen en cuenta al usuario, ni los aspectos socioculturales y éticos de la misma. Así sabemos que la compañía decidió desarrollar el sistema MCAS sin involucrar en demasía a los pilotos, que una vez desarrollado infravaloró sus implicaciones para el usuario, no dedicó un número adecuado de horas a su difusión y formación, además de que los reguladores y supervisores de turno no ejercieron sus funciones de manera ejemplar.
Todos estos aspectos tienen poco que ver con los aspectos artefactuales de la tecnología, sino más bien con su difusión y aceptación social. El tema es relevante, no solamente por la cantidad de vidas que ha sesgado esta lamentable gestión de la innovación, sino porque en los próximos años los sistemas inteligentes de ayuda a la toma de decisiones van a ir siendo adaptados por múltiples sectores paulatinamente. Y como en este caso, la posibilidad de destruir muchas vidas humanas va a estar muy presente.
La ética y el desarrollo tecnológico es un tema de rabiosa actualidad, primero porque estamos viendo que hay una nueva generación de tecnologías autónomas que prometen hacernos la vida más fácil, y segundo, porque no hay semana en la que encontremos un nuevo escándalo relacionado con una pobre implementación de las mismas. Como hace unos días subrayaba el ministro del interior, la diferencia entre el fracaso y el éxito puede ser la IA, pero le faltó matizar qué tipo de IA.
Evidentemente, las posibilidades de esta tecnología son casi ilimitadas y en prácticamente casi todo tipo de sectores. Un último ejemplo lo tenemos en el campo de la medicina, donde una IA alimentada con un buen número de electrocardiogramas, ha sido capaz de predecir el tiempo restante de vida de 400.000 pacientes con una gran fiabilidad, a pesar de que los investigadores no saben qué patrón o lógica ha aplicado el sistema. Y es que sabemos poco o nada del funcionamiento de este tipo de “cajas negras”, no sólo por cuestiones técnicas, sino también por razones de propiedad intelectual, anonimidad de los datos usados y otros aspectos que confieren a esta disciplina de una opacidad epistemológica formidable.
En este sentido, el desarrollo de IAs que sean capaz de explicarse a sí mismas puede ser un gran avance, no sólo para la legitimación parcial de estos sistemas, sino para entender mejor el mundo que nos rodea. Sin embargo, no podemos caer en una concepción meramente instrumentalista del uso de estos sistemas en diversos sectores de nuestra sociedad.
La problemática no puede ser reducida a un mejoramiento de las herramientas, ya que nuestra sociedad no funciona mediante correlaciones estadísticas que pueden pasar inadvertidas al ojo humano, sino a través de procesos abiertos, transparentes, democráticos, responsables, auditables y susceptibles a cambios basados en valores que protejan los derechos humanos, y que son respaldados por un diverso conjunto de actores con diversos intereses y motivaciones.
Esta complejidad social no puede ser reducida a un conjunto de instrucciones mediadas a través de plataformas, algoritmos y código. Hoy, en los albores de una cuarta revolución industrial, necesitamos de espacios donde poder reunir, representar y robustecer la complejidad social con la que van a lidiar este tipo de sistemas en los próximos años, para poder desarrollar tecnologías que supongan progreso social y no una amenaza para colectivos en riesgo de exclusión social.
Quien crea que lo del 737 Max es un caso puntual (a pesar de ser otro tipo de software), debería echar un vistazo a otros sistemas autónomos o de ayuda a la toma de decisiones que también han contribuido a arruinar la vida de muchas personas, en sectores como la educación, la dependencia, la justicia o la salud, por no hablar de las consecuencias tan negativas que tiene su uso con fines represivos en sistemas autoritarios, donde la democracia brilla por su ausencia. Todos ellos tienen en común un determinismo y solucionismo tecnológico que provoca una injusticia algorítmica, como consecuencia de una pobre adopción, difusión y apropiación social de la innovación. En todos ellos, se producen sesgos de género, étnicos o de origen socioeconómico que han sido exacerbados hasta su máxima expresión a través de la tecnología y siempre en favor de la eficiencia.
Por todo ello, la ética y la responsabilidad deben guiar este tipo de innovaciones, no sólo porque cada vez cobra una mayor importancia en la sociedad, sino porque los riesgos asociados a ellas son ingentes. Iniciativas de gran calado financiadas por actores públicos y privados nos recuerdan que es una necesidad en el desarrollo tecnológico, además de que se convertirá en un imperativo legal, a la hora de adoptar estos sistemas en la vida pública y de rendir cuentas.
La CE lleva impulsando desde el comienzo del programa H2020 el concepto de Investigación e Innovación Responsables (RRI en inglés), con el objetivo de alinear los procesos y productos de la investigación e innovación financiadas por el programa marco, con las expectativas y demandas de la sociedad. Este movimiento en torno a un desarrollo tecnológico e innovador responsable y ético, no es exclusivo de esta parte del mundo, ya que otros países como China o Australia han desarrollado iniciativas similares. Además, el nuevo paradigma de políticas de ciencia e innovación que se está abriendo paso y que se enfoca en los grandes retos, además de la importancia creciente de los ODS de Naciones Unidas, van a favorecer un cambio en el modo en que se desarrolla la investigación y la innovación.
Por ello, la ética, la responsabilidad y los valores no pueden ser vistos como elementos externos en el desarrollo de tecnologías, sino como elementos que deben guiar la investigación y la innovación en todo momento, con el objetivo de que se orienten a la resolución de los retos que enfrenta la sociedad actualmente.
