Зростаюча кількість додатків, що включають можливості та інструменти штучного інтелекту (AI), які полегшують роботу з моделями машинного навчання (ML), створюють нові головні болі в ланцюжку постачання програмного забезпечення для організацій, чиї команди безпеки тепер мають оцінювати та керувати ризиками, спричиненими ці компоненти ШІ. Команди безпеки розглядають ланцюг постачання програмного забезпечення та думають про компоненти з відкритим кодом, але вони повинні визнати, що ML є частиною цього, і налаштувати засоби контролю безпеки організації та політику управління даними, щоб відобразити реальність того, що ШІ вже присутній.
Гері Макгроу, співзасновник Інституту машинного навчання Беррівіля, каже, що однією з великих проблем, пов’язаних із зростанням використання штучного інтелекту в організаціях, є та сама тіньова ІТ-проблема, з якою багато років борються захисники підприємств. Тіньове машинне навчання та тіньовий штучний інтелект існують, оскільки в багатьох організаціях бізнес-групи та окремі співробітники вибирають і впроваджують програми машинного навчання та інструменти ШІ як частину своїх робочих процесів. Команди безпеки часто не інформуються, коли ці інструменти вводяться в організацію, а відсутність видимості означає, що вони не можуть ними керувати або захищати дані, що використовуються.
Питання щодо використання штучного інтелекту виникло під час нещодавньої зустрічі з керівниками великої компанії зі списку Fortune 100 і стартапу з безпеки додатків Legit Security, каже Макгроу (який є членом консультативної ради Legit Security). Платформа Legit Security, яка відображає весь життєвий цикл розробки програмного забезпечення від розробки до доставки, має видимість у кожному використовуваному інструменті та програмі.
«КІСО сказав: «За політикою ми не дозволяємо машинне навчання. Ніхто цим не користується», — каже Макгроу, і команда змогла використати платформу, щоб показати численні приклади використання машинного навчання та штучного інтелекту.
Незнання того, що використовується ML та AI, викликає дедалі більше занепокоєння, і не обмежується лише цією компанією. В нещодавнє дослідження Dark Reading74% респондентів сказали, що вони вважають, що працівники використовують загальнодоступні генеративні інструменти ШІ (GenAI), такі як ChatGPT, для робочих цілей, навіть якщо ці інструменти не були офіційно дозволені. Близько п’ятої частини респондентів (18%) сказали, що однією з п’яти найбільших проблем щодо штучного інтелекту є те, що вони не можуть заборонити співробітникам використовувати публічні інструменти GenAI.
Як знайти ШІ
«Ліав Каспі», співзасновник і технічний директор Legit Security, каже, що Legit Security досліджує, як технології GenAI змінюють розробку програмного забезпечення, наприклад, за допомогою штучного інтелекту для створення коду або вбудовування великих мовних моделей (LLM) у продукти. Побічним продуктом відображення платформи того, як організація розробляє та постачає програмне забезпечення, є «дуже детальна інвентаризація» всіх компонентів програмного забезпечення з відкритим і закритим кодом, що використовуються, інструментів для створення, фреймворків, плагінів і навіть серверів, на яких працюють розробники. використання, каже Каспі. Оскільки нові технології не завжди впроваджуються в технологічний пакет організації зверху вниз, цей каталог активів часто є першим, коли керівники дізнаються про всі компоненти програмного забезпечення та інструменти розробника, які використовуються.
«Виявляється, що те, що люди думають, і те, що є насправді, іноді не збігаються», — каже Макгроу. «Коли ви говорите CISO або людині, яка керує безпекою програмного забезпечення: «Гей, ти знав, що їх шість?» і вони кажуть: «Я думав, у нас лише двоє», [є проблема.]»
Окрім відповідей на запитання, наприклад, скільки систем відстеження помилок працює в організації, скільки екземплярів GitHub було встановлено, скільки екземплярів JIRA існує чи які розробники використовують які компілятори, Legit Security відповідає на запитання, наприклад, де розробники використовують LLM, які програми підключаються до якої служби AI, які дані надсилаються до цих служб і які моделі насправді використовуються. Питання про те, чи надсилаються якісь дані іншим службам, є особливо важливим для організацій у регульованих галузях, каже Каспі.
«[Ми] виявили речі, про які великі організації не знали, наприклад, вони не знали, що використовують певну бібліотеку. Вони не знали, що у них є розробники за кордоном, які десь скопіювали код в обліковий запис», — каже Каспі.
Інша проблема, яка викликає занепокоєння, полягає в тому, чи покладається організація на будь-який код, згенерований штучним інтелектом, що стає все більш актуальним із впровадженням різноманітних інструментів і копілотів, які допомагають розробникам писати код, каже Каспі. В опитуванні Dark Reading 28% респондентів висловили занепокоєння щодо можливої вразливості коду, згенерованого ШІ.
Наразі платформа сканує інфраструктуру розробки, щоб ідентифікувати всі частини, яких торкається ШІ. Він переглядає репозиторії та виявляє LLM, вбудовані в програми, чи використовувалися інструменти генерації коду, які програмні бібліотеки додано, які виклики API здійснюються та які ліцензії використовуються. Наприклад, huggingface широко використовується в проектах розробки програмного забезпечення для створення та включення моделей машинного навчання. За словами Каспі, команди безпеки повинні думати про номери версій, а також про те, як реалізуються моделі.
Як захистити ML
Щоб належним чином захистити машинне навчання, підприємство має мати можливість зробити три речі: знайти, де використовується машинне навчання, змоделювати ризики на основі знайдених даних і запровадити засоби контролю для керування цими ризиками.
«Нам потрібно знайти машинне навчання [і] створити модель загроз на основі того, що ви знайшли», — каже Макгроу. «Ви знайшли дещо, і тепер вашу модель загроз потрібно скорегувати. Коли ви створите свою модель загроз і визначите певні ризики та загрози, вам потрібно запровадити деякі засоби контролю прямо над усіма цими проблемами».
Як тільки команда безпеки дізнається, що використовується, вона може або заблокувати компонент, або визначити відповідну політику для додавання перевірок безпеки або «огорож» до процесу розробки, зазначає Каспі. Наприклад, можливо, що програма перейде до робочої версії без того, щоб хтось перевірив автоматично згенерований код, щоб переконатися, що проблеми не були введені в кодову базу. Блок коду може насправді не містити жодних уразливостей, але групи безпеки можуть створити політику, яка вимагатиме перегляду автоматично згенерованого коду двома людьми, перш ніж його можна буде об’єднати в кодову базу, каже він.
«У нас є багато виявлень, які покажуть вам, що ви пропустили огорожу», — каже Каспі. За словами Каспі, команда безпеки отримує «якомога більше інформації про те, що ми знайшли», щоб вони могли використовувати цю інформацію для вжиття певних дій. У деяких випадках будуть наведені вказівки щодо найкращих дій або найкращих практик.
Немає жодного інструменту чи платформи, які могли б впоратися з усіма трьома речами, але Макгроу входить до консультативних рад трьох компаній, що відповідають кожній із сфер. Legit Security знаходить усе, IriusRisk допомагає з моделюванням загроз, а Calypso AI надає засоби контролю.
«Я бачу, як усі частини рухаються», — каже Макгроу. «Всі частини збираються разом».
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://www.darkreading.com/application-security/first-step-in-ai-ml-security-is-finding-them
- : має
- :є
- : ні
- :де
- $UP
- 100
- a
- Здатний
- МЕНЮ
- рахунки
- через
- дію
- насправді
- додавати
- доданий
- регулювати
- Відрегульований
- Прийняття
- консультативний
- Консультативна рада
- AI
- AI / ML
- ВСІ
- дозволяти
- вже
- завжди
- an
- та
- відповідь
- Відповіді
- будь-який
- Інтерфейси
- додаток
- захист додатків
- застосування
- відповідний
- ЕСТЬ
- ПЛОЩА
- області
- штучний
- штучний інтелект
- Штучний інтелект (AI)
- AS
- оцінити
- активи
- At
- уповноважений
- заснований
- BE
- оскільки
- становлення
- було
- перед тим
- буття
- вважається,
- КРАЩЕ
- передового досвіду
- Великий
- Блокувати
- рада
- приніс
- будувати
- бізнес
- але
- by
- Виклики
- прийшов
- CAN
- можливості
- випадок
- випадків
- каталог
- ланцюг
- проблеми
- зміна
- ChatGPT
- Перевірки
- CISO
- цитується
- закрито
- Співзасновник
- код
- Кодова база
- майбутній
- Компанії
- компанія
- компонент
- Компоненти
- Занепокоєння
- Турбота
- З'єднувальний
- містити
- управління
- Відповідний
- може
- курс
- створювати
- створений
- CTO
- цикл
- темно
- Темне читання
- дані
- Захисники
- постачає
- доставка
- докладно
- Визначати
- Розробник
- розробників
- розробка
- розвивається
- DID
- А не було
- відкритий
- do
- байдуже
- Дон
- під час
- кожен
- легше
- або
- вбудований
- вбудовування
- співробітників
- забезпечувати
- підприємство
- Весь
- юридичні особи
- Ефір (ETH)
- Навіть
- Кожен
- все
- приклад
- керівництво
- існувати
- п'ятий
- знайти
- виявлення
- знахідки
- Перший
- перший раз
- п'ять
- для
- стан
- знайдений
- каркаси
- від
- Gary
- genai
- породжувати
- генеративний
- Генеративний ШІ
- отримати
- GitHub
- Go
- управління
- хапаючись
- Групи
- Зростання
- керівництво
- було
- обробляти
- відбувається
- Мати
- he
- головні болі
- допомога
- допомагає
- Як
- HTTPS
- HuggingFace
- i
- ідентифікований
- ідентифікувати
- реалізовані
- важливо
- in
- включати
- включення
- індивідуальний
- промисловості
- інформація
- повідомив
- Інфраструктура
- випадки
- Інститут
- Інтелект
- в
- введені
- Вступ
- інвентаризація
- питання
- IT
- просто
- Дитина
- Знати
- Знання
- знає
- відсутність
- мова
- великий
- УЧИТЬСЯ
- вивчення
- Законний
- libraries
- бібліотека
- ліцензії
- життя
- як
- обмеженою
- шукати
- ВИГЛЯДИ
- серія
- машина
- навчання за допомогою машини
- made
- зробити
- управляти
- манера
- багато
- відображення
- карти
- матч
- Може..
- засоби
- засідання
- член
- відсутній
- ML
- модель
- моделювання
- Моделі
- більше
- переміщення
- багато
- множинний
- Необхідність
- потреби
- Нові
- немає
- примітки
- зараз
- номер
- номера
- of
- Офіційно
- часто
- on
- один раз
- ONE
- ті,
- тільки
- відкрити
- з відкритим вихідним кодом
- or
- організація
- організації
- Інше
- з
- над
- за кордоном
- частина
- особливо
- частини
- Люди
- людина
- частин
- місце
- платформа
- plato
- Інформація про дані Платона
- PlatoData
- Політика
- політика
- поставлений
- це можливо
- практики
- представити
- Проблема
- проблеми
- процес
- процеси
- Production
- Продукти
- проектів
- правильно
- захист
- громадськість
- цілей
- put
- Ставить
- питання
- питань
- RE
- читання
- Реальність
- насправді
- останній
- визнавати
- відображати
- регулюється
- регульовані галузі
- доречний
- покладаючись
- дослідження
- респонденти
- відгуки
- рецензування
- право
- Risk
- ризики
- біг
- s
- Безпека
- Зазначений
- то ж
- say
- говорить
- безпечний
- безпеку
- запуск безпеки
- побачити
- вибирає
- посланий
- сервери
- обслуговування
- Послуги
- тінь
- Показувати
- з
- SIX
- So
- Софтвер
- програмні компоненти
- розробка програмного забезпечення
- безпека програмного забезпечення
- ланцюг постачання програмного забезпечення
- деякі
- Хтось
- що в сім'ї щось
- іноді
- десь
- Source
- конкретний
- стек
- введення в експлуатацію
- Крок
- Стоп
- такі
- поставка
- ланцюжка поставок
- Навколо
- Огляд
- Systems
- T
- Приймати
- команда
- команди
- Технології
- Технологія
- сказати
- Що
- Команда
- інформація
- їх
- Їх
- Там.
- Ці
- вони
- речі
- думати
- Мислення
- це
- ті
- хоча?
- думка
- загроза
- загрози
- три
- через
- час
- до
- разом
- інструмент
- інструменти
- топ
- торкнувся
- повороти
- два
- використання
- використовуваний
- використовує
- використання
- різний
- Ve
- версія
- дуже
- видимість
- Уразливості
- було
- we
- ДОБРЕ
- були
- Що
- Що таке
- коли
- Чи
- який
- ВООЗ
- чий
- широко
- волі
- з
- без
- Work
- запис
- написати код
- років
- ви
- вашу
- зефірнет