Acto de equilibrio: el valor de la experiencia humana en la era de la IA generativa - DATAVERSITY

Acto de equilibrio: el valor de la experiencia humana en la era de la IA generativa – DATAVERSITY

Marca de tiempo: 9 de enero de 2024 3:25 a. M.
Nodo de origen: 3052574

Los humanos son considerados el eslabón más débil de la empresa cuando se trata de seguridad. Con razón, como más del 95% de los incidentes de ciberseguridad son causados ​​por errores humanos. Los seres humanos son volubles, falibles e impredecibles, lo que los convierte en blancos fáciles para los ciberdelincuentes que buscan acceder a los sistemas de las organizaciones.  

Esto hace que nuestra dependencia de las máquinas sea mucho más importante. Hasta este punto, hemos podido confiar en que las máquinas funcionen con el código como la verdad. Aunque pueden verse comprometidos por vulnerabilidades en el código o por fallas sociales de sus operadores humanos, los problemas generalmente encuentran una solución clara. 

Sin embargo, con el auge de IA generativa (GenAI) y grandes modelos de lenguaje (LLM), las organizaciones ahora enfrentan ataques de ingeniería social que engañan a la IA para que haga cosas que no estaba destinada a hacer. A medida que entregamos más a la IA, será interesante ver cómo se desarrollan estos nuevos patrones de ataque.

Ante este dilema, una vez más depende de los humanos navegar por este complejo y cambiante panorama de seguridad de la IA. Esto exige que los CISO comuniquen claramente los beneficios y las deficiencias de la IA y reconozcan la larga lista de consideraciones de seguridad vinculadas a los productos y capacidades impulsados ​​por la IA. 

La implementación apresurada de la IA generativa plantea nuevos desafíos en materia de ciberseguridad

Para empezar, un problema común cuando se trata de GenAI y LLM es una dependencia excesiva del contenido generado por IA. Confiar en el contenido generado por IA sin verificarlo o comprobar si hay información engañosa o desinformada sin intervención o supervisión humana puede llevar a la propagación de datos erróneos que informan una mala toma de decisiones y un pensamiento crítico reducido. Se sabe que los LLM tienen alucinaciones, por lo que es posible que parte de la desinformación ni siquiera sea resultado de intenciones maliciosas.

Del mismo modo, la cantidad de código inseguro que se está introduciendo tras la evolución de GenAI también se convertirá en un desafío importante para los CISO, si no se anticipa de manera proactiva. Se sabe que los motores de IA escriben códigos con errores y vulnerabilidades de seguridad. Sin la supervisión humana adecuada, GenAI permite a personas sin las bases técnicas adecuadas enviar código. Esto conduce a un mayor riesgo de seguridad durante todo el ciclo de vida del desarrollo de software para las organizaciones que utilizan estas herramientas de manera incorrecta.

La fuga de datos es otro problema frecuente. En algunos casos, los atacantes pueden utilizar la inyección rápida para extraer información confidencial que el modelo de IA ha aprendido de otro usuario. Muchas veces esto puede ser inofensivo, pero ciertamente no se excluye el uso malicioso. Los malos actores podrían sondear intencionalmente la herramienta de inteligencia artificial con indicaciones meticulosamente elaboradas, con el objetivo de extraer información confidencial que la herramienta ha memorizado, lo que llevaría a la filtración de información confidencial o confidencial.

La IA puede aumentar algunas brechas de ciberseguridad, pero tiene un potencial significativo para cerrar otras

Por último, se entiende que la propagación de GenAI y LLM hará retroceder parte de la reducción de la superficie de ataque de nuestra industria por varias razones. En primer lugar, la capacidad de generar código con GenAI reduce el listón de quién puede ser ingeniero de software, lo que da como resultado un código más débil y estándares de seguridad aún más débiles. En segundo lugar, GenAI requiere grandes cantidades de datos, lo que significa que la escala y el impacto de las violaciones de datos crecerán exponencialmente. En tercer lugar, como ocurre con cualquier tecnología emergente, es posible que los desarrolladores no sean plenamente conscientes de las formas en que se puede explotar o abusar de su implementación. 

Sin embargo, es esencial adoptar una perspectiva equilibrada. Si bien la facilitación de la generación de código por parte de Gen AI puede generar preocupaciones, también aporta atributos positivos al panorama de la ciberseguridad. Por ejemplo, puede identificar eficazmente vulnerabilidades de seguridad como Cross-Site Scripting (XSS) o inyección SQL. Esta naturaleza dual subraya la importancia de una comprensión matizada. En lugar de considerar la IA únicamente como perjudicial, enfatiza la relación complementaria entre la inteligencia artificial y la participación humana en la ciberseguridad. Los CISO deben comprender los riesgos asociados de GenAI y LLM y, al mismo tiempo, explorar enfoques centrados en el ser humano para implementar GenAI y fortalecer sus organizaciones.

Los humanos recogen lo que la IA deja atrás

Los CISO no solo tienen la tarea de desentrañar las complejidades de GenAI. Deben allanar el camino a seguir para su organización y demostrar al liderazgo cómo su organización puede seguir prosperando en un mundo dominado por GenAI. 

Si bien los usuarios finales suelen ser responsables de muchas vulnerabilidades de seguridad, no hay mejor defensa contra el cibercrimen que un ser humano bien capacitado y preocupado por la seguridad. No importa qué herramientas de detección de amenazas tenga una organización, simplemente no hay forma de reemplazar a la persona detrás de la pantalla cuando se trata de probar software. 

Las organizaciones pueden superar a los ciberdelincuentes utilizando el poder de hackeo ético. Si bien algunos dudan en invitar a los piratas informáticos a su red debido a conceptos erróneos obsoletos, estos expertos en ciberseguridad respetuosos de la ley son la mejor opción para enfrentar a los malos actores porque, a diferencia de la IA, pueden meterse en las cabezas de los ciberatacantes.

De hecho, los piratas informáticos ya están complementando las herramientas automatizadas en la lucha contra los ciberdelincuentes, con 92% de hackers éticos diciendo que pueden encontrar vulnerabilidades que los escáneres no pueden. Al correr el velo sobre la piratería para siempre, los líderes empresariales pueden adoptar la piratería ética y el apoyo humano para lograr un equilibrio más eficaz entre la IA y los expertos humanos en la lucha contra el ciberdelito moderno. Nuestro reciente Informe de seguridad impulsado por piratas informáticos destaca esto, ya que el 91% de nuestros clientes dicen que los piratas informáticos brindan informes de vulnerabilidad más impactantes y valiosos que la inteligencia artificial o las soluciones de escaneo. A medida que la IA siga dando forma a nuestro futuro, la comunidad de hackers éticos seguirá comprometida a garantizar su integración segura.

La combinación de automatización con una red de piratas informáticos altamente cualificados significa que las empresas pueden identificar fallos críticos en las aplicaciones antes de que sean explotados. Cuando las organizaciones combinan eficazmente herramientas de seguridad automatizadas con piratería ética, cierran brechas en la superficie de ataque digital en constante evolución. 

Esto se debe a que los humanos y la IA pueden trabajar juntos para mejorar la productividad del equipo de seguridad: 

  1. Reconocimiento de la superficie de ataque: Las organizaciones modernas pueden desarrollar una infraestructura de TI extensa y compleja que comprenda una variedad de hardware y software tanto autorizados como no autorizados. Desarrollar un índice completo de activos de TI, como software y hardware, es importante para reducir las vulnerabilidades, optimizar la gestión de parches y ayudar a cumplir con los mandatos de la industria. También ayuda a identificar y analizar los puntos a través de los cuales un atacante podría atacar una organización.
  2. Evaluaciones continuas: Más allá de la seguridad en un momento dado, las organizaciones pueden combinar el ingenio de los expertos en seguridad humana con información sobre la superficie de ataque en tiempo real para lograr pruebas continuas del panorama digital. Las pruebas de penetración continuas permiten a los equipos de TI ver los resultados de simulaciones constantes que muestran cómo se vería una infracción en el entorno actual y los posibles puntos débiles donde los equipos pueden adaptarse en tiempo real.
  3. Mejoras en el proceso: Los piratas informáticos humanos de confianza pueden entregar a los equipos de seguridad información valiosa sobre vulnerabilidades y activos para ayudar a mejorar los procesos.

Conclusión

A medida que la IA generativa continúa evolucionando a un ritmo tan rápido, los CISO deben aprovechar su comprensión de cómo los humanos pueden colaborar para mejorar la seguridad de la IA y obtener el apoyo de su junta directiva y su equipo de liderazgo. Como resultado, las organizaciones pueden contar con personal y recursos adecuados para abordar estos desafíos de manera efectiva. Lograr el equilibrio adecuado entre una implementación rápida de la IA y una seguridad integral mediante la colaboración con piratas informáticos éticos fortalece el argumento a favor de invertir en soluciones adecuadas impulsadas por la IA.

Sello de tiempo:

Mas de VERSIDAD DE DATOS