Équilibre : la valeur de l'expertise humaine à l'ère de l'IA générative - DATAVERSITY

Équilibre : la valeur de l’expertise humaine à l’ère de l’IA générative – DATAVERSITY

Horodatage: 9 janvier 2024 3:25 AM
Nœud source: 3052574

L’humain est considéré comme le maillon faible de l’entreprise en matière de sécurité. À juste titre, comme plus de 95 XNUMX% des incidents de cybersécurité sont causés par une erreur humaine. Les humains sont inconstants, faillibles et imprévisibles, ce qui en fait des cibles faciles pour les cybercriminels cherchant à accéder aux systèmes des organisations.  

Cela rend notre dépendance aux machines encore plus importante. Jusqu’à présent, nous avons pu faire confiance aux machines pour fonctionner avec le code comme étant la vérité. Même s’ils peuvent être compromis par des vulnérabilités du code ou par les failles sociales de leurs opérateurs humains, les problèmes trouvent généralement une solution claire. 

Cependant, avec la montée de IA générative (GenAI) et grands modèles de langage (LLM), les organisations sont désormais confrontées à des attaques d’ingénierie sociale qui incitent l’IA à faire des choses pour lesquelles elle n’est pas censée faire. À mesure que nous confierons davantage de tâches à l’IA, il sera intéressant de voir ces nouveaux modèles d’attaque se manifester.

Face à ce dilemme, c’est une fois de plus aux humains de s’orienter dans ce paysage complexe et évolutif de la sécurité de l’IA. Cela appelle les RSSI à communiquer clairement sur les avantages ainsi que les inconvénients de l’IA et à reconnaître la longue liste de considérations de sécurité liées aux produits et capacités basés sur l’IA. 

La mise en œuvre précipitée de l’IA générative entraîne de nouveaux défis en matière de cybersécurité

Pour commencer, un problème courant lorsqu’il s’agit de GenAI et de LLM est une dépendance excessive à l’égard du contenu généré par l’IA. Faire confiance au contenu généré par l’IA sans vérifier ou vérifier les informations trompeuses ou erronées sans intervention humaine ou surveillance peut conduire à la propagation de données erronées qui éclairent une mauvaise prise de décision et une pensée critique réduite. Les LLM sont connus pour avoir des hallucinations, de sorte qu’une partie de la désinformation peut même ne pas résulter d’une intention malveillante.

Dans le même ordre d’idées, la quantité de code non sécurisé introduite suite à l’évolution de GenAI deviendra également un défi important pour les RSSI, si elle n’est pas anticipée de manière proactive. Les moteurs d’IA sont connus pour écrire du code bogué présentant des failles de sécurité. Sans une surveillance humaine appropriée, GenAI permet aux personnes ne disposant pas des bases techniques appropriées d'expédier du code. Cela entraîne un risque de sécurité accru tout au long du cycle de vie du développement logiciel pour les organisations qui utilisent ces outils de manière inappropriée.

La fuite de données est un autre problème répandu. Dans certains cas, les attaquants peuvent utiliser l’injection rapide pour extraire des informations sensibles que le modèle d’IA a apprises d’un autre utilisateur. Bien souvent, cela peut être inoffensif, mais une utilisation malveillante n’est certainement pas exclue. Les mauvais acteurs pourraient intentionnellement sonder l’outil d’IA avec des invites méticuleusement conçues, dans le but d’extraire les informations sensibles que l’outil a mémorisées, conduisant ainsi à la fuite d’informations sensibles ou confidentielles.

L’IA peut accroître certaines lacunes en matière de cybersécurité, mais a un potentiel important pour en combler d’autres

Enfin, il est entendu que la propagation de GenAI et des LLM fera régresser une partie de la réduction de la surface d’attaque de notre industrie pour plusieurs raisons. Premièrement, la possibilité de générer du code avec GenAI abaisse la barre pour savoir qui peut devenir ingénieur logiciel, ce qui entraîne un code plus faible et des normes de sécurité encore plus faibles. Deuxièmement, GenAI nécessite de grandes quantités de données, ce qui signifie que l’ampleur et l’impact des violations de données vont croître de façon exponentielle. Troisièmement, comme pour toute technologie émergente, les développeurs ne sont peut-être pas pleinement conscients de la manière dont leur mise en œuvre peut être exploitée ou abusée. 

Il est néanmoins essentiel d’adopter une perspective équilibrée. Si la facilitation de la génération de code par la génération AI peut susciter des inquiétudes, elle apporte également des attributs positifs au paysage de la cybersécurité. Par exemple, il peut identifier efficacement les vulnérabilités de sécurité telles que le Cross-Site Scripting (XSS) ou l'injection SQL. Cette double nature souligne l’importance d’une compréhension nuancée. Plutôt que de considérer l’IA comme uniquement nuisible, elle met l’accent sur la relation complémentaire entre l’intelligence artificielle et l’implication humaine dans la cybersécurité. Les RSSI doivent comprendre les risques associés à GenAI et aux LLM tout en explorant simultanément des approches centrées sur l'humain pour mettre en œuvre GenAI et renforcer leurs organisations.

Les humains récupèrent ce que l’IA laisse derrière eux

Les RSSI n’ont pas seulement pour tâche de résoudre les complexités de GenAI. Ils doivent ouvrir la voie à leur organisation et démontrer aux dirigeants comment leur organisation peut continuer à prospérer dans un monde dominé par GenAI. 

Même si les utilisateurs finaux sont souvent responsables de nombreuses failles de sécurité, il n’existe pas de meilleure défense contre la cybercriminalité qu’un être humain bien formé et soucieux de la sécurité. Quels que soient les outils de détection des menaces dont dispose une organisation, il n’est tout simplement pas possible de remplacer la personne derrière l’écran lorsqu’il s’agit de tester des logiciels. 

Les organisations peuvent devancer les cybercriminels en utilisant la puissance de piratage éthique. Alors que certains hésitent à inviter des pirates informatiques dans leur réseau en raison d’idées fausses dépassées, ces experts en cybersécurité respectueux des lois sont la meilleure personne pour s’attaquer aux mauvais acteurs – car, contrairement à l’IA, ils peuvent pénétrer dans la tête des cyberattaquants.

En fait, les pirates complètent déjà les outils automatisés dans la lutte contre les cybercriminels, avec 92% des hackers éthiques disant qu'ils peuvent trouver des vulnérabilités que les scanners ne peuvent pas. En levant définitivement le voile sur le piratage informatique, les chefs d’entreprise peuvent adopter le piratage éthique et le soutien humain pour trouver un équilibre plus efficace entre l’IA et les experts humains dans la lutte contre la cybercriminalité moderne. Notre récent Rapport de sécurité alimenté par les pirates le souligne, puisque 91 % de nos clients déclarent que les pirates informatiques fournissent des rapports de vulnérabilité plus percutants et plus précieux que les solutions d'IA ou d'analyse. Alors que l’IA continue de façonner notre avenir, la communauté des hackers éthiques restera déterminée à garantir son intégration en toute sécurité.

La combinaison de l’automatisation et d’un réseau de pirates informatiques hautement qualifiés permet aux entreprises d’identifier les failles critiques des applications avant qu’elles ne soient exploitées. Lorsque les organisations associent efficacement outils de sécurité automatisés et piratage éthique, elles comblent les lacunes de la surface d’attaque numérique en constante évolution. 

En effet, les humains et l’IA peuvent travailler ensemble pour améliorer la productivité des équipes de sécurité : 

  1. Reconnaissance de la surface d'attaque : Les organisations modernes peuvent développer une infrastructure informatique étendue et complexe comprenant une variété de matériels et de logiciels autorisés et non autorisés. Le développement d'un index global des actifs informatiques tels que les logiciels et le matériel est important pour réduire les vulnérabilités, rationaliser la gestion des correctifs et faciliter la conformité aux mandats de l'industrie. Il permet également d'identifier et d'analyser les points par lesquels un attaquant pourrait cibler une organisation.
  2. Évaluations continues : Au-delà de la sécurité ponctuelle, les organisations peuvent combiner l’ingéniosité des experts en sécurité humaine avec des informations en temps réel sur la surface d’attaque pour réaliser des tests continus du paysage numérique. Les tests d'intrusion continus permettent aux équipes informatiques de visualiser les résultats de simulations constantes qui montrent à quoi ressemblerait une violation dans l'environnement actuel et les points faibles potentiels auxquels les équipes peuvent s'adapter en temps réel.
  3. Améliorations du processus : Des pirates informatiques humains de confiance peuvent transmettre aux équipes de sécurité des informations précieuses sur les vulnérabilités et les actifs pour contribuer à l'amélioration des processus.

Conclusion

Alors que l’IA générative continue d’évoluer à un rythme très rapide, les RSSI doivent tirer parti de leur compréhension de la manière dont les humains peuvent collaborer pour améliorer la sécurité de l’IA et obtenir le soutien de leur conseil d’administration et de leur équipe de direction. En conséquence, les organisations peuvent disposer du personnel et des ressources adéquates pour relever efficacement ces défis. Trouver le juste équilibre entre une mise en œuvre rapide de l’IA et une sécurité complète grâce à la collaboration avec des pirates informatiques éthiques renforce l’argument en faveur d’investir dans des solutions appropriées basées sur l’IA.

Horodatage:

Plus de DATAVERSITÉ