El impacto de la IA en la ciberseguridad - DATAVERSITY

El impacto de la IA en la ciberseguridad – DATAVERSITY

Marca de tiempo: 5 de diciembre de 2023 3:25 a.m.
Nodo de origen: 2995031

La inteligencia artificial ha atraído mucha atención de los medios por todo tipo de temas, desde quitarles el trabajo a las personas hasta difundir desinformación e infringir derechos de autor, pero el impacto de la IA en la ciberseguridad puede ser su problema inmediato más urgente.

Como era de esperar, el impacto de la IA en los equipos de seguridad es de doble filo. Cuando se aplica correctamente, puede ser un poderoso multiplicador de fuerza para los profesionales de la ciberseguridad, a través de medios tales como procesar grandes cantidades de datos a velocidades de computadora, encontrar conexiones entre puntos de datos distantes, descubrir patrones, detectar ataques y predecir progresiones de ataques. Pero, como bien saben los profesionales de la seguridad, la IA no siempre se aplica correctamente. Intensifica la ya imponente gama de amenazas a la ciberseguridad, desde el compromiso de identidad y el phishing hasta el ransomware y los ataques a la cadena de suministro.

Los CISO y los equipos de seguridad deben comprender tanto las ventajas como los riesgos de la IA, lo que requiere un reequilibrio sustancial de habilidades. Los ingenieros de seguridad, por ejemplo, deben comprender los conceptos básicos del aprendizaje automático, la calidad y los sesgos de los modelos, los niveles de confianza y las métricas de rendimiento. Científicos de datos Necesita aprender los fundamentos de la ciberseguridad, los patrones de ataque y el modelado de riesgos para contribuir de manera efectiva a los equipos híbridos.

Los modelos de IA necesitan una formación adecuada para ayudar a la ciberseguridad

La tarea de hacer frente a la proliferación de amenazas impulsadas por la IA agrava los desafíos para los CISO y los equipos de seguridad, que ya están sobrecargados de trabajo, que no solo deben lidiar con nuevas y sofisticadas campañas de phishing diseñadas por un modelo de lenguaje grande (LLM) como ChatGPT, pero todavía tienen que preocuparse por un servidor sin parches en la DMZ que podría representar una amenaza mayor.

La IA, por otro lado, puede ahorrarles a los equipos mucho tiempo y esfuerzo en la evaluación de riesgos y la detección de amenazas. También puede ayudar con la respuesta, aunque debe hacerse con cuidado. Un modelo de IA puede ayudar a los analistas a aprender cómo clasifican los incidentes y luego realizar esas tareas por sí solo o priorizar los casos para su revisión humana. Pero los equipos deben asegurarse de que las personas adecuadas estén dando instrucciones a la IA.

Hace años, por ejemplo, realicé un experimento en el que 10 analistas de distintos niveles de habilidad revisaron 100 casos de sospecha de filtración de datos. Dos analistas senior identificaron correctamente todos los aspectos positivos y negativos, tres analistas menos experimentados se equivocaron en casi todos los casos y los cinco restantes obtuvieron resultados aleatorios. Por muy bueno que sea un modelo de IA, sería inútil si lo entrenara un equipo como ese.

La IA es como un coche potente: puede hacer maravillas en manos de un conductor experimentado o mucho daño en manos de uno inexperto. Ésa es un área donde la escasez de habilidades puede afectar el impacto de la ciberseguridad de la IA.

¿Cómo pueden los CTO elegir una solución de IA?

Dado el revuelo sobre la IA, las organizaciones podrían verse tentadas a simplemente apresurarse a adoptar la tecnología. Pero además de entrenar adecuadamente la IA, hay preguntas que los CTO deben responder, empezando por cuestiones de idoneidad:

  • ¿La IA encaja en el ecosistema de la organización? Esto incluye la plataforma, componentes externos como una base de datos y un motor de búsqueda, software y licencias gratuitos y de código abierto, y también la seguridad y las certificaciones, la copia de seguridad y la conmutación por error de la organización. 
  • ¿La IA se adapta al tamaño de la empresa?
  • ¿Qué conjuntos de habilidades se requieren para que el equipo de seguridad mantenga y opere la IA?

Los CTO también deben abordar preguntas específicas para una solución de IA: 

  • ¿Cuáles de las funciones reclamadas de un producto de IA específico se alinean con sus objetivos comerciales?
  • ¿Se puede lograr la misma funcionalidad utilizando las herramientas existentes?
  • ¿La solución realmente detecta amenazas?

Esa última pregunta puede ser difícil de responder porque los eventos de ciberseguridad maliciosos ocurren en una escala minúscula en comparación con la actividad legítima. En un estudio de prueba de concepto limitado que utiliza datos en vivo, una herramienta de inteligencia artificial puede no detectar nada si no hay nada allí. Los proveedores suelen utilizar datos sintéticos o ataques del Red Team para demostrar la capacidad de una IA, pero la pregunta sigue siendo si están demostrando una verdadera capacidad de detección o simplemente validando la suposición bajo la cual se generaron los indicadores.

Es difícil determinar por qué una IA piensa que algo fue un ataque porque los algoritmos de IA son esencialmente cajas negras, aún incapaces de explicar cómo llegaron a una determinada conclusión, como lo demuestra el estudio de DARPA. IA explicable (XAI) .

Mitigar los riesgos de la IA

Una solución de IA es tan buena como los datos con los que trabaja. Para garantizar un comportamiento ético, los modelos de IA deben entrenarse con datos éticos, no con la recolección masiva de basura que se encuentra en la World Wide Web. Y cualquier científico de datos sabe que producir un conjunto de datos limpio, imparcial y bien equilibrado para entrenar un modelo es una tarea difícil, tediosa y poco glamorosa. 

Debido a esto, los modelos de IA, incluidos los LLM, pueden eventualmente gestionarse de una manera similar a cómo servirían mejor a la ciberseguridad: como modelos especializados (en contraposición a los modelos de propósito general “omniscientes”) que sirven a campos particulares y están capacitados en datos seleccionados por expertos en la materia en el campo. 

Intentar censurar la IA en respuesta a la protesta mediática del momento no resolverá el problema. Sólo el trabajo diligente en la creación de conjuntos de datos confiables puede lograrlo. Hasta que las empresas de inteligencia artificial (y los capitalistas de riesgo que las respaldan) acepten este enfoque como la única forma de ofrecer contenido respetable, será basura que entra y sale. 

¿Debería regularse más el desarrollo de la IA?

El desarrollo de la IA ha generado muchos preocupaciones legítimas sobre todo, desde deepfakes y clonación de voz hasta phishing/vishing/smishing avanzado, robots asesinos e incluso la posibilidad de un Apocalipsis de la IA. Eliezer Yudkowsky, uno de los nombres más respetados en Inteligencia General Artificial (AGI), hizo recientemente un llamado a “cerrarlo todo”, diciendo que la moratoria de seis meses propuesta no era suficiente.

Pero no se puede detener el desarrollo de nuevas tecnologías, un hecho que ha sido evidente desde la época de los alquimistas en la antigüedad. Entonces, desde un punto de vista práctico, ¿qué se puede hacer para evitar que la IA se salga de control y mitigar el riesgo de una extinción provocada por ella? La respuesta es que muchos de los mismos conjuntos de controles empleados en otros campos tienen potencial para convertirse en armas: 

  • Investigación transparente. El desarrollo de la IA de código abierto no solo impulsa la innovación y democratiza el acceso, sino que también tiene muchos beneficios de seguridad, desde detectar fallas de seguridad y líneas de desarrollo peligrosas hasta crear defensas contra posibles abusos. Hasta ahora, las grandes tecnológicas apoyan los esfuerzos de código abierto, pero eso podría cambiar si la competencia se intensifica. Podría ser necesario adoptar medidas legislativas para conservar el acceso al código abierto.
  • Contener la experimentación. Todos los experimentos con IA suficientemente avanzada deben estar protegidos y aplicar estrictamente procedimientos de seguridad. Estas no son medidas infalibles, pero podrían marcar la diferencia entre una perturbación local y una catástrofe global.
  • Interruptores de apagado. Al igual que los antídotos y las vacunas, las contramedidas contra las variantes de IA desbocadas o destructivas deben ser una parte integral del proceso de desarrollo. Incluso los creadores de ransomware incorporan un interruptor de apagado. 
  • Regular cómo se usa. La IA es una tecnología que se puede aplicar por el bien de la humanidad o abusar de ella con consecuencias desastrosas. La regulación de sus aplicaciones es una tarea de los gobiernos del mundo, y la urgencia es mucho mayor que la necesidad de censurar la próxima versión de ChatGPT. El Ley de IA de la UE es una base concisa y bien formulada cuyo objetivo es prevenir el uso indebido sin sofocar la innovación. Los Estados Unidos Declaración de derechos de IA y la reciente Orden Ejecutiva sobre IA son menos específicos y parecen centrarse más en la corrección política que en las cuestiones del desarrollo, la capacitación y la contención de modelos adecuados. Sin embargo, esas medidas son sólo un comienzo. 

Conclusión

La IA está llegando a la ciberseguridad, lo quieran o no los CISO, y traerá beneficios y riesgos sustanciales al campo de la ciberseguridad, particularmente con la eventual llegada de criptografía post-cuántica. Como mínimo, los CISO deberían invertir tiempo para comprender los beneficios de las herramientas promocionadas por la IA y las amenazas de los ataques impulsados ​​por la IA. Que inviertan dinero en IA depende en gran medida de los beneficios tangibles de los productos de seguridad de IA, de las consecuencias publicitadas de los ataques de IA y, hasta cierto punto, de su experiencia personal con ChatGPT. 

El desafío que enfrentan los CISO es cómo implementar la IA de manera efectiva y responsable.

Sello de tiempo:

Mas de VERSIDAD DE DATOS