¿Por qué necesitamos marcos éticos y de regulación para la Inteligencia Artificial?
En los últimos años, organizaciones me han pedido que hable sobre las ramificaciones de seguridad del envenenamiento de datos, esto se ha convertido en una gran preocupación para las organizaciones que trabajan con sistemas de inteligencia artificial (IA) y aprendizaje automático (ML). Cuando se trata de los métodos y motivaciones de los atacantes, el envenenamiento de datos generalmente se presenta como una categoría relativamente ordenada y bien definida (tratada en detalle en la publicación anterior de Audra Simons.
Sin embargo, cuando se analiza principalmente el impacto en sus sistemas, como suele ser el caso con los equipos de ciberseguridad, puede resultar complicado distinguir inmediatamente los ataques deliberados de los efectos no intencionales, como la forma en que se diseñan los sistemas de la IA o los datos con los que se originan. En esta publicación, examinaré algunos problemas sistémicos que afectan a los sistemas de IA/ML, con el objetivo de explicar por qué los marcos éticos y la gobernanza regulatoria son importantes para ayudar a que la IA funcione de manera eficiente y equitativa.
¿Cómo puede presentar problemas la IA sin la intervención de “atacantes”?
Es posible crear un sistema de asesoramiento de IA que se base en datos reales y precisos pero que acabe produciendo resultados poco éticos. Podemos ver un ejemplo sencillo con texto predictivo. Los primeros modelos de aprendizaje automático para texto predictivo se entrenaron en documentos de dominio público, generalmente periódicos y libros digitalizados en posesión de la Biblioteca del Congreso de los Estados Unidos u otras bibliotecas de archivos, como los Archivos Nacionales de Australia. "Leerían" el texto y construirían modelos basados en la recurrencia de palabras cercanas entre sí. Las primeras bibliotecas de texto predictivas utilizadas en los teléfonos inteligentes se volvieron inesperadamente algo sexistas y racistas. Por ejemplo, escribir la palabra "ingeniero" podría hacer que el modelo generara términos codificados en masculino, porque el texto en ese momento reflejaba las actitudes predominantes de la época. Una vez identificado el problema, los modelos se ajustaron para corregir esta fuente de sesgo.
Otra forma en que los sesgos y elementos no deseados pueden introducirse en los modelos de IA es a través de conjuntos de datos de crowdsourcing. Gran parte de los datos utilizados para entrenar la IA a menudo provienen de aportaciones humanas, a través de plataformas de crowdsourcing como Amazon Mechanical Turk. ImageNet es un ejemplo de una base de datos visual que empleó crowdsourcing para etiquetar sus numerosas imágenes, lo que generó casos de prejuicios raciales (así como un lenguaje abiertamente racista) que luego podrían ser absorbidos por modelos de IA. Ya sea que los datos de capacitación se extraigan de documentos públicamente disponibles o de crowdsourcing, se necesita transparencia para poder identificar y mitigar los problemas sistémicos que se esconden en los conjuntos de datos.
Para comprender cuán grave pueden ser el impacto humano de los sistemas automatizados de asesoramiento y toma de decisiones comprometidos, analicemos las sentencias penales. En todos los países democráticos con altos niveles de libertades individuales y rendición de cuentas, existe un tema común de tribunales inferiores sobrecargados de trabajo (por ejemplo, tribunales de primera instancia y tribunales de distrito), con jueces y magistrados lidiando con un número excesivo de casos. En tales escenarios, se puede lograr un grado significativo de eficiencia operativa reduciendo el tiempo necesario para dictar sentencia. Cuando un juez o magistrado necesita dictar una sentencia después de un veredicto, debe considerar las obligaciones legislativas, los precedentes y las expectativas de la comunidad junto con la gravedad del delito, y esto lleva tiempo. Ante esto, muchas jurisdicciones han recurrido a la IA para ayudar a analizar la información de los casos, analizarla a través de modelos y luego brindar recomendaciones de sentencia.
Desafortunadamente, al igual que los modelos lingüísticos, estos sistemas se basan en conjuntos de datos antiguos y extensos y, a menudo, hacen recomendaciones que reflejan tiempos menos ilustrados, recomendando sentencias más largas y severas para personas de determinadas etnias y grupos demográficos. Con jueces sobrecargados de trabajo y la tendencia humana a confiar en las máquinas por encima de todo lo demás, ha dado como consecuencia que los jueces apliquen los resultados de las máquinas por encima de su propio juicio, lo que ha llevado a sentencias bastante racistas y claramente desproporcionadas en varios casos. La falta de transparencia sobre cómo funcionan los modelos de IA y los datos con qué se entrenan han contribuido al problema.
Hay un último problema que debemos examinar: el círculo no virtuoso. Esto ocurre cuando la IA se utiliza para generar resultados que en sí mismos son aceptables, como lo hacen muchas herramientas de IA generativa en la actualidad. Sin embargo, cuando este resultado se utiliza para entrenar otros modelos de IA, puede provocar que los efectos indeseables aumenten y se amplifiquen, lo que da como consecuencia resultados que, en el mejor de los casos, son resultados sin coherencia y, en el peor, son destructivos. En el caso del sistema de sentencias que analizamos, si no se controla, los modelos futuros aumentarán la discriminación y las sentencias desproporcionadas. Si un generador de imágenes de IA se entrena con otras imágenes generadas por IA, puede hacer que las generaciones posteriores tengan el mismo aspecto o sin sentido.
Este tipo de degradación del modelo de IA puede ser particularmente grave en organizaciones que entrenan modelos con los datos de sus propios clientes, utilizando modelos para generar datos sintéticos y luego aplicando el aprendizaje a los resultados. Si bien los datos sin sentido a menudo pueden aislarse rápidamente, lo más insidioso son los resultados inexactos o desviados que son difíciles de detectar pero que tienen un impacto significativo en la toma de decisiones o el análisis posterior. Por ejemplo, una institución financiera podría modelar la rentabilidad del cliente usando un conjunto de modelos, que luego son utilizados por otros modelos para generar clientes sintéticos, que luego se usan para generar modelos de cómo cambiaría la rentabilidad de la institución, o cómo les iría probablemente a clientes específicos con el tiempo. En este caso, a los clientes se les puede negar el acceso del modo clásico "la computadora dice no", sin que nadie sepa por qué la computadora dijo no.
¿Qué tiene esto que ver con la ciberseguridad?
Cuando hablo de este tema, aquí es donde la gente suele detenerse y preguntar: "Bueno, eso es terrible, pero ¿qué tiene esto que ver con la ciberseguridad?" Desafortunadamente, tiene *todo* que ver con la seguridad.
Dependemos cada vez más de la IA en todos los aspectos de la ciberseguridad. Comenzó con el malware (pasando de las suscripciones al análisis de comportamiento y rasgos), luego fue el análisis de registros (pasando de la correlación a la detección de anomalías y el análisis del comportamiento del usuario), ahora es todo. Los modelos de aprendizaje automático e IA deciden si debe obtener acceso a un recurso, si un usuario presenta un mayor riesgo, si es seguro acceder a un recurso o si un actor malicioso está dentro de sus datos y no solo en sus sistemas. No podemos evitar la IA ya que es la única manera de escalar nuestras operaciones en el campo de batalla cibernético. Cada nuevo software o servicio tendrá un elemento de IA o ML; en este sentido será similar a lo que representó la nube para el software y las aplicaciones hace 15 años. Las aplicaciones se han trasladado progresivamente hacia la nube, y a aquellas que no lo han hecho se les han aplicado los principios de la nube en sus entornos privados. De hecho, en ciberseguridad pasaremos del uso de la IA en técnicas defensivas y de detección a implementarlas de manera adversaria.
Pero aún así, ¿cómo afectan directamente estos problemas a la ciberseguridad? Nuevamente, todas las herramientas utilizadas con fines cibernéticos son susceptibles a los peligros descritos anteriormente. Imagine un escenario, en el que entrenó una IA que analiza sus incidentes de pérdida de datos y las señales de comportamiento del usuario. Los datos de capacitación serán históricos para su organización; ¿Sufrieron estos datos un envenenamiento involuntario por políticas mal adaptadas? ¿Qué sucede cuando su IA ahora bloquea a los usuarios legítimos fuera de los sistemas o niega el acceso a los recursos porque el modelo de capacitación ha entrado en un círculo no virtuoso que amplifica la importancia de los valores atípicos? ¿Qué sucede en un escenario en el que su IA decide incorrectamente que un empleado está acosando a alguien o corre riesgo de autolesionarse?
¿Qué se puede hacer al respecto?
Mi objetivo aquí es principalmente ayudarlo a comprender cómo se producen los sesgos involuntarios y el envenenamiento de datos y cuán grave puede ser el impacto humano cuando estos problemas no están bajo control. Mi interés de transmitir esto es por qué los marcos éticos y la regulación son necesarios para la IA y no solo una distracción para las organizaciones en su búsqueda de resultados. Me gustaría terminar señalando brevemente la dirección de lo que se está haciendo en esta área.
Marcos éticos
Establecer mejores prácticas para la ética de la IA es un desafío debido a la rapidez con la que se está desarrollando la tecnología, pero varias organizaciones de los sectores público y privado se han encargado de implementar marcos y centros de información para cuestiones éticas. Aquí tiene una pequeña muestra de las herramientas disponibles:
Gobernanza regulatoria
Si bien el trabajo sobre marcos éticos puede parecer algo desorganizado, la regulación real de la IA se encuentra realmente en sus primeras etapas. La ley EU AI Act es una de las primeras leyes importantes que establece la gobernanza regulatoria de las aplicaciones de IA. En Estados Unidos, el presidente Biden acaba de emitir una Orden Ejecutiva para establecer estándares y pautas tanto para el desarrollo como para el uso de la IA. Este es el conjunto de normas más completo de EE. UU., se basa en algunas de las leyes que los estados americanos han promulgado con respecto al uso de la IA y merece un análisis y estudio por derecho propio.
Además, la Organización Mundial de la Salud ha propuesto principios regulatorios relacionados específicamente con problemas de salud. Por supuesto, esto sin mencionar cómo las regulaciones existentes de seguridad y privacidad de datos, como el GDPR , impactan el uso de la inteligencia artificial.
El futuro está regulado
Es probable que toda esta actividad desencadene un aumento en la cantidad de regulación en las principales economías y bloques comerciales, lo que podría conducir a un panorama regulatorio cada vez más fragmentado, al menos por ahora.
Creo que es seguro predecir que la actual era del “salvaje oeste” de IA y ML desaparecerá rápidamente, dejando a las organizaciones con una carga de cumplimiento considerable cuando quieran aprovechar la tecnología
Lidiar con todo esto será difícil, pero espero haber demostrado con éxito que abordar la IA desde la perspectiva del diseño ético y el cumplimiento normativo es fundamental si queremos proteger a las muchas personas, usuarios y otros, que se ven afectados por estos sistemas.
