Le nombre croissant d'applications intégrant des capacités d'intelligence artificielle (IA) et des outils facilitant le travail avec des modèles d'apprentissage automatique (ML) ont créé de nouveaux problèmes de chaîne d'approvisionnement logicielle pour les organisations, dont les équipes de sécurité doivent désormais évaluer et gérer les risques posés par ces composants d’IA. Les équipes de sécurité examinent la chaîne d’approvisionnement logicielle et réfléchissent aux composants open source, mais elles doivent reconnaître que le ML en fait partie et ajuster les contrôles de sécurité et les politiques de gouvernance des données de l’organisation pour refléter la réalité selon laquelle l’IA est déjà présente.
L’un des grands défis liés à l’utilisation croissante de l’IA dans les organisations est en fait le même problème informatique fantôme auquel les défenseurs des entreprises sont confrontés depuis des années, explique Gary McGraw, co-fondateur du Berryville Institute of Machine Learning. Le Shadow ML et l'IA fantôme existent car dans de nombreuses organisations, ce sont les groupes d'entreprises et les employés individuels qui sélectionnent et adoptent les applications ML et les outils d'IA dans le cadre de leurs processus de travail. Les équipes de sécurité ne sont souvent pas informées lorsque ces outils sont introduits dans l’organisation, et le manque de visibilité les empêche de les gérer ou de protéger les données utilisées.
La question de l’utilisation de l’IA a été soulevée lors d’une récente réunion avec des dirigeants d’une grande entreprise Fortune 100 et de la startup de sécurité des applications Legit Security, explique McGraw (qui est membre du conseil consultatif de Legit Security). La plate-forme de Legit Security, qui cartographie l'ensemble du cycle de vie du développement logiciel, du développement à la livraison, offre une visibilité sur chaque outil et application utilisé.
« Le RSSI a déclaré : « Nous n’autorisons pas l’apprentissage automatique par politique. Personne ne l'utilise », déclare McGraw, et l'équipe a pu utiliser la plate-forme pour montrer plusieurs instances de ML et d'IA utilisées.
Ne pas savoir ce que le ML et l'IA sont utilisés est une préoccupation croissante et ne se limite pas à cette entreprise. Dans un récente enquête de recherche sur la lecture sombre, 74 % des personnes interrogées ont déclaré croire que les employés utilisaient des outils publics d'IA générative (GenAI), tels que ChatGPT, à des fins professionnelles, même si ces outils n'étaient pas officiellement autorisés. Environ un cinquième des personnes interrogées (18 %) ont déclaré que l’une de leurs cinq principales préoccupations concernant l’IA était qu’elles ne pouvaient pas empêcher les employés d’utiliser les outils publics GenAI.
Comment trouver l'IA
Legit Security étudie la manière dont les technologies GenAI modifient le développement logiciel, par exemple en utilisant l'IA pour générer du code ou en intégrant des modèles de langage étendus (LLM) dans des produits, explique Liav Caspi, co-fondateur et CTO de Legit Security. Le sous-produit de la cartographie de la plate-forme sur la façon dont l'organisation développe et fournit des logiciels est un « inventaire très détaillé » de tous les composants logiciels open source et fermés utilisés, des outils de construction, des frameworks, des plug-ins et même des serveurs que les développeurs utilisent. en utilisant, dit Caspi. Étant donné que les nouvelles technologies ne sont pas toujours introduites dans la pile technologique de l’organisation de manière descendante, ce catalogue d’actifs est souvent la première fois que les dirigeants découvrent tous les composants logiciels et outils de développement utilisés.
"Il s'avère que ce que les gens pensent être le cas et ce qui est réellement le cas ne correspond parfois pas", dit McGraw. « Lorsque vous dites au RSSI ou à la personne qui gère la sécurité des logiciels : « Hé, saviez-vous qu'il y en a six ? » et qu'ils répondent : « Je pensais que nous n'en avions que deux », [il y a un problème.] »
En plus de répondre à des questions telles que le nombre de systèmes de suivi des bogues exécutés par l'organisation, le nombre d'instances de GitHub installées, le nombre d'instances de JIRA existantes ou les développeurs qui utilisent quels compilateurs, Legit Security répond à des questions telles que l'endroit où les développeurs utilisent des LLM, quelles applications se connectent à quel service d'IA, quelles données sont envoyées à ces services et quels modèles sont réellement utilisés. La question de savoir si des données sont envoyées à d'autres services est particulièrement importante pour les entités des secteurs réglementés, explique Caspi.
« [Nous] avons découvert des choses que les grandes organisations ne savaient pas, comme par exemple qu’elles ne savaient pas qu’elles utilisaient une bibliothèque spécifique. Ils ne savaient pas qu’il y avait des développeurs à l’étranger qui copiaient le code sur un compte quelque part », explique Caspi.
Un autre sujet de préoccupation est de savoir si l'organisation s'appuie sur du code généré par l'IA, ce qui devient de plus en plus pertinent avec l'introduction de divers outils et copilotes qui aident les développeurs à écrire du code, explique Caspi. Dans l'enquête Dark Reading, 28 % des personnes interrogées ont fait part de leurs inquiétudes concernant d'éventuelles vulnérabilités dans le code généré par l'IA.
Actuellement, la plateforme explore l'infrastructure de développement pour identifier toutes les parties touchées par l'IA. Il examine les référentiels et détecte les LLM intégrés dans les applications, si des outils de génération de code ont été utilisés, quelles bibliothèques de logiciels ont été ajoutées, quels appels d'API sont effectués et quels types de licences sont utilisés. Par exemple, Huggingface est largement utilisé dans les projets de développement de logiciels pour créer et intégrer des modèles d'apprentissage automatique. Les équipes de sécurité doivent réfléchir aux numéros de version ainsi qu'à la manière dont les modèles sont mis en œuvre, explique Caspi.
Comment sécuriser le ML
Pour sécuriser correctement le machine learning, l'entreprise doit être capable de faire trois choses : déterminer où le machine learning est utilisé, modéliser les menaces en fonction de ce qui a été trouvé et mettre en place des contrôles pour gérer ces risques.
« Nous devons trouver du machine learning [and] élaborer un modèle de menace basé sur ce que vous avez trouvé », explique McGraw. « Vous avez trouvé des éléments et maintenant votre modèle de menace doit être ajusté. Une fois que vous avez élaboré votre modèle de menace et identifié certains risques et menaces, vous devez mettre en place des contrôles pour tous ces problèmes.
Une fois que l'équipe de sécurité sait ce qui est utilisé, elle peut soit bloquer le composant, soit déterminer une politique appropriée pour ajouter des contrôles de sécurité, ou « garde-corps », au processus de développement, note Caspi. Par exemple, il est possible qu'une application passe en production sans que quelqu'un n'examine le code généré automatiquement pour s'assurer qu'aucun problème n'a été introduit dans la base de code. Le bloc de code ne contient peut-être aucune vulnérabilité, mais les équipes de sécurité peuvent créer une politique exigeant que le code généré automatiquement soit examiné par deux personnes avant de pouvoir être fusionné dans la base de code, dit-il.
"Nous avons de nombreuses détections qui vous diront qu'il manque un garde-corps", explique Caspi. L’équipe de sécurité obtient « autant d’informations que possible sur ce que nous avons trouvé », afin de pouvoir utiliser ces informations pour prendre des mesures, explique Caspi. Dans certains cas, des conseils seront fournis sur la meilleure marche à suivre ou les meilleures pratiques.
Il n'existe pas d'outil ou de plate-forme unique capable de gérer ces trois choses, mais McGraw fait partie des conseils consultatifs de trois entreprises correspondant à chacun des domaines. Legit Security trouve tout, IriusRisk aide à la modélisation des menaces et Calypso AI met en place des contrôles.
«Je peux voir toutes les pièces bouger», dit McGraw. "Toutes les pièces sont en train de s'assembler."
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
- La source: https://www.darkreading.com/application-security/first-step-in-ai-ml-security-is-finding-them
- :possède
- :est
- :ne pas
- :où
- $UP
- 100
- a
- Capable
- Qui sommes-nous
- Compte
- à travers
- Action
- actually
- ajouter
- ajoutée
- régler
- Ajusté
- L'adoption d'
- consultatif
- Conseil consultatif
- AI
- AI / ML
- Tous
- permettre
- déjà
- toujours
- an
- ainsi que les
- répondre
- réponses
- tous
- Apis
- Application
- sécurité de l'application
- applications
- approprié
- SONT
- Réservé
- domaines
- artificiel
- intelligence artificielle
- Intelligence artificielle (AI)
- AS
- Evaluer
- atout
- At
- autorisé
- basé
- BE
- car
- devenir
- était
- before
- va
- cru
- LES MEILLEURS
- les meilleures pratiques
- Big
- Block
- planche
- Apporté
- construire
- la performance des entreprises
- mais
- by
- Appels
- venu
- CAN
- capacités
- maisons
- cas
- catalogue
- chaîne
- globaux
- Change
- ChatGPT
- Contrôles
- CISO
- cité
- fonds à capital fermé
- Co-fondateur
- code
- Base de code
- Venir
- Sociétés
- Société
- composant
- composants électriques
- PROBLÈMES DE PEAU
- Préoccupations
- Connecter les
- contiennent
- contrôles
- Correspondant
- pourriez
- cours
- engendrent
- créée
- CTO
- cycle
- Foncé
- Lecture sombre
- données
- défenseurs
- offre
- page de livraison.
- détaillé
- Déterminer
- Développeur
- mobiles
- Développement
- développe
- DID
- didn
- découvert
- do
- doesn
- Don
- pendant
- chacun
- plus facilement
- non plus
- intégré
- enrobage
- employés
- assurer
- Entreprise
- Tout
- entités
- Ether (ETH)
- Pourtant, la
- Chaque
- peut
- exemple
- cadres
- exister
- cinquième
- Trouvez
- trouver
- trouve
- Prénom
- première fois
- cinq
- Pour
- fortune
- trouvé
- cadres
- de
- Gary
- Genai
- générer
- génératif
- IA générative
- obtenez
- GitHub
- Go
- gouvernance
- Lutter Avec
- Groupes
- Croissance
- l'orientation
- ait eu
- manipuler
- arrive
- Vous avez
- he
- maux de tête
- vous aider
- aide
- Comment
- HTTPS
- Étreindre
- i
- identifié
- identifier
- mis en œuvre
- important
- in
- intégrer
- incorporation
- individuel
- secteurs
- d'information
- Actualités
- Infrastructure
- cas
- Institut
- Intelligence
- développement
- introduit
- Introduction
- inventaire
- vous aider à faire face aux problèmes qui vous perturbent
- IT
- juste
- Genre
- Savoir
- connaissance
- sait
- Peindre
- langue
- gros
- APPRENTISSAGE
- apprentissage
- Legit
- bibliothèques
- Bibliothèque
- licences
- VIE
- comme
- limité
- recherchez-
- LOOKS
- Lot
- click
- machine learning
- LES PLANTES
- a prendre une
- gérer
- manière
- de nombreuses
- cartographie
- Map
- Match
- Mai..
- veux dire
- réunion
- membre
- manquant
- ML
- modèle
- modélisation statistique
- numériques jumeaux (digital twin models)
- PLUS
- en mouvement
- beaucoup
- plusieurs
- Besoin
- Besoins
- Nouveauté
- aucune
- Notes
- maintenant
- nombre
- numéros
- of
- Officiellement
- souvent
- on
- une fois
- ONE
- et, finalement,
- uniquement
- ouvert
- open source
- or
- organisation
- organisations
- Autre
- ande
- plus de
- à l'étranger
- partie
- particulièrement
- les pièces
- Personnes
- personne
- pièces
- Place
- plateforme
- Platon
- Intelligence des données Platon
- PlatonDonnées
- politiques
- politique
- posé
- possible
- pratiques
- représentent
- Problème
- d'ouvrabilité
- processus
- les process
- Vidéo
- Produits
- projets
- correctement
- protéger
- public
- des fins
- mettre
- Puts
- question
- fréquemment posées
- RE
- en cours
- Réalité
- vraiment
- récent
- reconnaître
- refléter
- réglementé
- industries réglementées
- pertinent
- s'appuyer
- un article
- répondants
- examiné
- examen
- bon
- Analyse
- risques
- pour le running
- s
- Sécurité
- Saïd
- même
- dire
- dit
- sécurisé
- sécurité
- démarrage de la sécurité
- sur le lien
- la sélection
- envoyé
- serveurs
- service
- Services
- Shadow
- montrer
- depuis
- SIX
- So
- Logiciels
- composants logiciels
- développement de logiciels
- logiciel de sécurité
- chaîne d'approvisionnement de logiciels
- quelques
- Quelqu'un
- quelque chose
- parfois
- quelque part
- Identifier
- groupe de neurones
- empiler
- Commencez
- étapes
- Arrêter
- tel
- la quantité
- chaîne d'approvisionnement
- Alentours
- Sondage
- Système
- T
- Prenez
- équipe
- équipes
- Les technologies
- Technologie
- dire
- qui
- Les
- les informations
- leur
- Les
- Là.
- Ces
- l'ont
- des choses
- penser
- En pensant
- this
- ceux
- bien que?
- pensée
- menace
- des menaces
- trois
- Avec
- fiable
- à
- ensemble
- outil
- les outils
- top
- touché
- se tourne
- deux
- utilisé
- d'utiliser
- Usages
- en utilisant
- divers
- Ve
- version
- très
- définition
- vulnérabilités
- était
- we
- WELL
- ont été
- Quoi
- Qu’est ce qu'
- quand
- que
- qui
- WHO
- dont
- largement
- sera
- comprenant
- sans
- activités principales
- écrire
- écrire du code
- années
- you
- Votre
- zéphyrnet