Noviembre 6, 2023

La ciberamenaza de la IA: más allá de las exageraciones

Publicación #3 sobre perspectivas futuras de Forcepoint para el 2024
Aaron Mulgrew

A estas alturas, no hay duda de que la inteligencia artificial (IA) tendrá un impacto enorme en la ciberseguridad. Esta idea ya está llevando a mucha gente a preguntarse: ¿cuál será el impacto de la IA en nuestra industria? Quizás aún más importante, ¿qué podemos hacer nosotros, como profesionales de la seguridad al respecto?

Desde el año pasado cuando OpenAI y Microsoft lanzaron ChatGPT al mundo, he estado interesado en probar las implicaciones de ciberseguridad por mí mismo. Eso es lo que me llevó a usarlo para crear malware este año. Desde entonces, las cosas en el campo de la IA se han acelerado. DarkBERT, malware basado en GPT, inició este movimiento en agosto. Poco después, noté cuando FraudGPT, basado en suscripción, comenzó a causar sensación en la web oscura. Luego, DARPA presentó su AI Cyber ​​​​Challenge (AIxCC) en la conferencia Blackhat de este año, lo que me hizo querer investigar más. Hablare más sobre AIxCC más adelante en esta publicación.

Ya había empezado a pensar en las posibilidades de los LLM de código abierto sin censura, pero toda la actividad de agosto me hizo querer explorar lo que es posible cuando se trata de perfeccionar los LLM.

Pero antes de empezar a hacer ajustes, necesitaba ver desde dónde partimos. Le pregunté a la versión estándar de ChatGPT sobre la esteganografía y recibí lo siguiente del modelo no entrenado:

 

Como puede ver, el conocimiento era bastante vago y cuando se le pidió que proporcionara información más específica no pudo hacerlo y creó información incorrecta. 

 

Ahora, entramos en el ajuste de los LLM

Sabía que sería necesario realizar ajustes, pero necesitaba descubrir por dónde empezar. A través de mi investigación sobre el tema, encontré este excelente blog sobre capacitación y ajuste de uno de los LLM de código abierto más populares

Todo esto me hizo pensar:

¿Sería posible perfeccionar un LLM para brindarle resultados más avanzados con el fin de crear malware sofisticado que sea capaz de generar ataques de phishing y exfiltración de datos?"

 

La primera parte del proceso fue instalar TextGen WebUI, lo cual hice en parte con la ayuda de esta excelente guía del equipo de AWS Re:Post. Instalar TextGen WebUI, esta fue la parte fácil del proceso. Sin embargo, configurar TextGenUI para usar las GPU subyacentes en mi instancia g5.12xlarge fue más problemático. Solo diré que configurar TextGenUI para que funcione con los controladores NVIDIA CUDA subyacentes requirió varias horas de depuración para que todo funcionara.

Una vez que instalé y configuré TextGen WebUI, comencé a realizar una capacitación ligera en un LLM de código abierto popular y conocido- es uno que no está completamente censurado. Si se perdió la publicación de mi blog sobre los peligros de los LLM de código abierto sin censura, probablemente le resulte útil leerla.

Después de investigar qué método de ajuste utilizar, me decidí por el ajuste fino de LoRA. LoRA significa “Adaptación de bajo rango de modelos de lenguaje grandes”. Representa una forma mucho más ligera y de baja fricción de poder ajustar un modelo en comparación con el ajuste fino tradicional. Las investigaciones también han demostrado que el ajuste fino de LoRA es sólo marginalmente menos efectivo en comparación con el ajuste fino completo. En comparación, el ajuste completo es prohibitivamente costoso para la mayoría de las bandas criminales con recursos limitados, por lo que para este experimento quería centrarme en una capacidad que podría desarrollarse para ayudar en ataques de ransomware a un costo relativamente bajo.

Usando LoRA para ajustar un modelo de lenguaje grande popular sin censura de código abierto, pude proporcionar dos piezas de contenido extenso y avanzado de pruebas de penetración. Dado que estos datos no estaban estructurados en absoluto, confié en el algoritmo de tokenización para generar correctamente los datos de capacitación necesarios para mi LLM.

Entonces, después de haber generado y aplicado el ajuste fino de LoRA al LLM, intenté la misma solicitud nuevamente. Esta vez, LLM brindó una respuesta mucho más detallada. También estuvo dispuesto a responder preguntas de seguimiento sin crear información falsa e incluso me proporcionó ejemplos de código:

 

El costo total de la solución general, incluido el tiempo y el esfuerzo informático necesarios para generar el LoRA y aplicarlo al LLM, fue de solo 100 euros aproximadamente. Una barrera de entrada muy baja, al menos en términos de costo. Esto es especialmente cierto si se considera que los atacantes pueden optar por no utilizar la nube y, en su lugar, optar por entrenar al LLM en conjuntos de datos de texto sin formato usando un elemento básico estándar, como una PC para juegos, para realizar los cálculos necesarios, incluso si esto aumenta el tiempo necesario para entrenar el modelo.

Una vez que el LLM esté afinado, la banda criminal podría ofrecer el uso del LLM a otras bandas menos equipadas por una pequeña tarifa de suscripción- un modelo que ya ha sido documentado recientemente por sitios de noticias e investigadores. Incluso se puede utilizar para generar correos electrónicos de phishing convincentes y para filtrar de forma segura información que evade la detección, incluidos los modernos conjuntos de herramientas de DLP. A una escala aún más amplia, pensemos en las entidades estatales que realizan los esfuerzos de ajuste y los ponen a disposición de los grupos de la APT de la misma manera. Ese es un modelo que escala globalmente. 

 

Hay una luz…

Es fácil ver las implicaciones de ciberseguridad de los actores maliciosos que ajustan los LLM para malos propósitos a través de una lente extremadamente negativa. Si bien es cierto que la IA permitirá a los piratas informáticos ampliar el trabajo que realizan, lo mismo se aplica a nosotros como profesionales de la seguridad. La buena noticia es que los gobiernos nacionales no se quedan de brazos cruzados. Apenas la semana pasada, la  “Copa Mundial” de políticas de IA comenzó con la Orden Ejecutiva de Biden sobre IA y el código de conducta voluntario de IA del G7 , le siguió poco después la Cumbre de Seguridad de IA de dos días de duración en el Reino Unido.

Asimismo, otros dos acontecimientos recientes brindan esperanza para el futuro impulsado por la IA: el proyecto AIxCC de DARPA antes mencionado, valorado en varios millones de dólares, y la reciente confirmación de que la CIA está construyendo su propio LLM para sus analistas. El proyecto AIxCC liderado por DARPA es una inversión de dos años y casi 20 millones de dólares diseñada para reunir a las mentes más brillantes en inteligencia artificial y ciberseguridad a través de una competencia diseñada para estimular la innovación y fortalecer las defensas de software de la infraestructura crítica.

En mi opinión, la CIA va por buen camino. La creación de LLM personalizados representa un camino viable a seguir para otras agencias gubernamentales y organizaciones empresariales centradas en la seguridad. Si bien solo las empresas de tecnología más grades y bien financiadas tienen los recursos para crear un LLM desde cero, muchas tienen el conocimiento y los recursos para perfeccionar los LLM de código abierto en la lucha para mitigar las amenazas creadas por actores maliciosos- desde adolescentes conocedores de la tecnología hasta sofisticadas operaciones de estado. 

Igualmente, como tantos elementos de la ciberseguridad, nos corresponde a nosotros garantizar que todo lo que se crea con fines maliciosos se aplique con la misma fuerza y ​​en sentido opuesto para crear conjuntos de herramientas equivalentes para el bien.

Aaron Mulgrew

Aaron works with central government departments in the UK and abroad to secure their systems, as well as working alongside critical national infrastructure providers to make sure they aren’t an easy route to compromise. With a specialism in cryptocurrency...

Leer más artículos de Aaron Mulgrew

Acerca de Forcepoint

Forcepoint es la compañía líder en ciberseguridad de protección de datos y usuarios, encargada de proteger a las organizaciones a la vez que impulsa la transformación digital y el crecimiento. Nuestras soluciones se adaptan en tiempo real a la manera en que las personas interactúan con los datos, y proporcionan un acceso seguro a la vez que permiten que los empleados generen valor.