Растущее число приложений, включающих возможности и инструменты искусственного интеллекта (ИИ), упрощающие работу с моделями машинного обучения (ML), создало новые проблемы в цепочке поставок программного обеспечения для организаций, чьим командам безопасности теперь приходится оценивать и управлять рисками, создаваемыми эти компоненты ИИ. Команды безопасности смотрят на цепочку поставок программного обеспечения и думают о компонентах с открытым исходным кодом, но они должны признать, что машинное обучение является частью этого, и скорректировать меры контроля безопасности организации и политику управления данными, чтобы отразить реальность того, что ИИ уже присутствует.
По словам Гэри МакГроу, соучредителя Берривильского института машинного обучения, одна из серьезных проблем, связанных с растущим использованием ИИ в организациях, на самом деле является той же самой теневой ИТ-проблемой, с которой защитники предприятий борются уже много лет. Теневое машинное обучение и теневой искусственный интеллект существуют потому, что во многих организациях именно бизнес-группы и отдельные сотрудники выбирают и внедряют приложения машинного обучения и инструменты искусственного интеллекта в свои рабочие процессы. Команды безопасности часто не информируются о том, когда эти инструменты внедряются в организацию, а отсутствие прозрачности означает, что они не могут управлять ими или защищать используемые данные.
Вопрос об использовании ИИ возник во время недавней встречи с руководителями крупной компании из списка Fortune 100 и стартапа Legit Security, занимающегося безопасностью приложений, говорит МакГроу (который является членом консультативного совета Legit Security). Платформа Legit Security, которая отображает весь жизненный цикл разработки программного обеспечения от разработки до поставки, обеспечивает видимость каждого используемого инструмента и приложения.
«Директор по информационной безопасности сказал: «Мы не разрешаем машинное обучение политикой. Никто ею не пользуется», — говорит МакГроу, и команда смогла использовать платформу, чтобы продемонстрировать несколько примеров использования машинного обучения и искусственного интеллекта.
Незнание того, что используется в машинном обучении и искусственном интеллекте, вызывает растущую обеспокоенность и не ограничивается только этой компанией. В недавнее исследование Dark Reading74% респондентов заявили, что, по их мнению, сотрудники используют общедоступные инструменты генеративного искусственного интеллекта (GenAI), такие как ChatGPT, в рабочих целях, хотя эти инструменты не были официально разрешены. Около пятой части респондентов (18%) заявили, что одна из пяти их главных проблем в отношении ИИ заключалась в том, что они не могли помешать сотрудникам использовать общедоступные инструменты GenAI.
Как найти ИИ
Legit Security изучает, как технологии GenAI меняют разработку программного обеспечения, например, использование ИИ для генерации кода или встраивание больших языковых моделей (LLM) в продукты, говорит Лиав Каспи, соучредитель и технический директор Legit Security. Побочным продуктом картирования платформ, как организация разрабатывает и поставляет программное обеспечение, является «очень подробный перечень» всех используемых компонентов программного обеспечения с открытым и закрытым исходным кодом, инструментов сборки, инфраструктур, плагинов и даже серверов, которыми пользуются разработчики. используя, говорит Каспи. Поскольку новые технологии не всегда внедряются в технологический стек организации нисходящим образом, этот каталог активов зачастую является первым случаем, когда руководители узнают обо всех используемых программных компонентах и инструментах разработки.
«Оказывается, то, что думают люди, и то, что есть на самом деле, иногда не совпадают», — говорит МакГроу. «Когда вы говорите директору по информационной безопасности или человеку, отвечающему за безопасность программного обеспечения: «Эй, а вы знали, что их шесть?» и они говорят: «Я думал, у нас только двое» [вот проблема.]»
Помимо ответов на такие вопросы, как количество систем отслеживания ошибок в организации, сколько экземпляров GitHub установлено, сколько экземпляров JIRA существует или какие разработчики какие компиляторы используют, Legit Security отвечает на такие вопросы, как, например, где находятся разработчики. используют LLM, какие приложения к какому сервису ИИ подключаются, какие данные отправляются в эти сервисы и какие модели на самом деле используются. Вопрос о том, отправляются ли какие-либо данные в другие службы, особенно важен для предприятий регулируемых отраслей, говорит Каспи.
«[Мы] обнаружили вещи, о которых крупные организации не знали, например, они не знали, что используют определенную библиотеку. Они не знали, что у них есть зарубежные разработчики, которые скопировали код куда-то в учетную запись», — говорит Каспи.
Еще одна проблема, вызывающая беспокойство, заключается в том, полагается ли организация на какой-либо код, сгенерированный искусственным интеллектом, что становится все более актуальным с появлением различных инструментов и вторых пилотных проектов, которые помогают разработчикам писать код, говорит Каспи. В опросе Dark Reading 28% респондентов выразили обеспокоенность по поводу возможных уязвимостей в коде, сгенерированном ИИ.
В настоящее время платформа сканирует инфраструктуру разработки, чтобы выявить все части, затрагиваемые ИИ. Он просматривает репозитории и обнаруживает LLM, встроенные в приложения, используются ли инструменты генерации кода, какие библиотеки программного обеспечения были добавлены, какие вызовы API выполняются и какие лицензии используются. Например, HuggingFace широко используется в проектах разработки программного обеспечения для создания и внедрения моделей машинного обучения. По словам Каспи, командам безопасности необходимо думать о номерах версий, а также о том, как реализуются модели.
Как защитить ML
Чтобы должным образом защитить машинное обучение, предприятию необходимо иметь возможность сделать три вещи: найти, где используется машинное обучение, смоделировать угрозы на основе того, что было обнаружено, и внедрить средства контроля для управления этими рисками.
«Нам нужно найти машинное обучение [и] создать модель угроз на основе того, что вы обнаружили», — говорит МакГроу. «Вы нашли кое-что, и теперь вашу модель угроз нужно скорректировать. После того как вы создадите свою модель угроз и определите некоторые риски и угрозы, вам необходимо ввести некоторые элементы управления для всех этих проблем».
Как только команда безопасности узнает, что используется, они могут либо заблокировать компонент, либо определить соответствующую политику для добавления проверок безопасности или «ограждений» в процесс разработки, отмечает Каспи. Например, приложение может быть запущено в производство без проверки автоматически сгенерированного кода, чтобы убедиться в отсутствии проблем в кодовой базе. По его словам, блок кода на самом деле может не содержать никаких уязвимостей, но группы безопасности могут создать политику, требующую проверки автоматически сгенерированного кода двумя людьми, прежде чем его можно будет объединить с кодовой базой.
«У нас есть множество обнаружений, которые подскажут вам, что вы пропустили ограждение», — говорит Каспи. По словам Каспи, команда безопасности получает «как можно больше информации о том, что мы нашли», чтобы использовать эту информацию для принятия каких-либо мер. В некоторых случаях будут даны некоторые рекомендации относительно наилучшего курса действий или передовой практики.
Не существует единого инструмента или платформы, которая могла бы справиться со всеми тремя задачами, но МакГроу входит в консультативные советы трех компаний, соответствующих каждой из областей. Legit Security находит все, IriusRisk помогает с моделированием угроз, а ИИ Calypso обеспечивает контроль.
«Я вижу, как движутся все части», — говорит МакГроу. «Все части собираются воедино».
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://www.darkreading.com/application-security/first-step-in-ai-ml-security-is-finding-them
- :имеет
- :является
- :нет
- :куда
- $UP
- 100
- a
- в состоянии
- О нас
- Учетная запись
- через
- Действие
- на самом деле
- Добавить
- добавленный
- регулировать
- Отрегулированный
- Принятие
- консультативный
- консультативный совет
- AI
- AI / ML
- Все
- позволять
- уже
- всегда
- an
- и
- ответ
- ответы
- любой
- API
- Применение
- безопасность приложения
- Приложения
- соответствующий
- МЫ
- ПЛОЩАДЬ
- области
- искусственный
- искусственный интеллект
- Искусственный интеллект (AI)
- AS
- оценить
- активы
- At
- уполномоченный
- основанный
- BE
- , так как:
- становление
- было
- до
- не являетесь
- распространенной
- ЛУЧШЕЕ
- лучшие практики
- большой
- Заблокировать
- доска
- принес
- строить
- бизнес
- но
- by
- Объявления
- пришел
- CAN
- возможности
- случаев
- случаев
- каталог
- цепь
- проблемы
- изменение
- ChatGPT
- Проверки
- CISO
- привел
- закрыто
- Соучредитель
- код
- Codebase
- приход
- Компании
- Компания
- компонент
- компоненты
- Беспокойство
- Обеспокоенность
- Соединительный
- содержать
- контрольная
- соответствующий
- может
- курс
- Создайте
- создали
- CTO
- цикл
- темно
- Темное чтение
- данным
- Защитники
- обеспечивает
- поставка
- подробный
- Определять
- Застройщик
- застройщиков
- Развитие
- развивается
- DID
- А не было
- открытый
- do
- Безразлично
- Дон
- в течение
- каждый
- легче
- или
- встроенный
- вложения
- сотрудников
- обеспечивать
- Предприятие
- Весь
- лиц
- Эфир (ETH)
- Даже
- Каждая
- многое
- пример
- руководителей высшего звена.
- существовать
- пятой
- Найдите
- обнаружение
- находит
- First
- Впервые
- 5
- Что касается
- Fortune
- найденный
- каркасы
- от
- Гэри
- Genai
- порождать
- генеративный
- Генеративный ИИ
- получить
- GitHub
- Go
- управление
- шлюпочный
- Группы
- Рост
- руководство
- было
- обрабатывать
- происходит
- Есть
- he
- головные боли
- помощь
- помогает
- Как
- HTTPS
- ОбниматьЛицо
- i
- идентифицированный
- определения
- в XNUMX году
- важную
- in
- включать
- включения
- individual
- промышленности
- информация
- сообщил
- Инфраструктура
- случаев
- Институт
- Интеллекта
- в
- выпустили
- Введение
- инвентаризация
- вопросы
- IT
- всего
- Вид
- Знать
- знание
- знает
- Отсутствие
- язык
- большой
- УЧИТЬСЯ
- изучение
- Законный
- библиотеки
- Библиотека
- лицензии
- ЖИЗНЬЮ
- такое как
- Ограниченный
- искать
- ВЗГЛЯДЫ
- серия
- машина
- обучение с помощью машины
- сделанный
- сделать
- управлять
- способ
- многих
- отображение
- Карты
- Совпадение
- Май..
- означает
- заседания
- член
- отсутствующий
- ML
- модель
- моделирование
- Модели
- БОЛЕЕ
- перемещение
- много
- с разными
- Необходимость
- потребности
- Новые
- нет
- Заметки
- сейчас
- номер
- номера
- of
- Официально
- .
- on
- консолидировать
- ONE
- те,
- только
- открытый
- с открытым исходным кодом
- or
- организация
- организации
- Другое
- внешний
- за
- за рубежом
- часть
- особенно
- части
- Люди
- человек
- штук
- Часть
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- сборах
- политика
- поставленный
- возможное
- практиками
- представить
- Проблема
- проблемам
- процесс
- Процессы
- Производство
- Продукция
- проектов
- должным образом
- для защиты
- что такое варган?
- целей
- положил
- Оферты
- вопрос
- Вопросы
- RE
- Reading
- Реальность
- на самом деле
- последний
- признавать
- отражать
- регулируемых брокеров
- регулируемые отрасли
- соответствующие
- опираясь
- исследованиям
- респондентов
- отзывы
- обзор
- правую
- Снижение
- рисках,
- Бег
- s
- Сохранность
- Сказал
- то же
- сообщили
- говорит
- безопасный
- безопасность
- запуск безопасности
- посмотреть
- выбор
- послать
- серверы
- обслуживание
- Услуги
- Shadow
- показывать
- с
- ШЕСТЬ
- So
- Software
- программные компоненты
- разработка программного обеспечения
- безопасность программного обеспечения
- цепочка поставок программного обеспечения
- некоторые
- Кто-то
- удалось
- иногда
- где-то
- Источник
- конкретный
- стек
- ввод в эксплуатацию
- Шаг
- Stop
- такие
- поставка
- цепочками поставок
- окружающих
- Опрос
- системы
- T
- взять
- команда
- команды
- технологии
- Технологии
- сказать
- который
- Ассоциация
- информация
- их
- Их
- Там.
- Эти
- они
- вещи
- think
- мышление
- этой
- те
- хоть?
- мысль
- угроза
- угрозы
- три
- Через
- время
- в
- вместе
- инструментом
- инструменты
- топ
- тронутый
- Получается
- два
- использование
- используемый
- использования
- через
- различный
- Ve
- версия
- очень
- видимость
- Уязвимости
- законопроект
- we
- ЧТО Ж
- были
- Что
- Что такое
- когда
- будь то
- который
- КТО
- чья
- широко
- будете
- без
- Работа
- записывать
- написать код
- лет
- являетесь
- ВАШЕ
- зефирнет