У Google ми підтримуємо a Програма винагороди за вразливість щоб відзначити найсучасніші зовнішні внески щодо вирішення проблем у веб-ресурсах, що належать Google і дочірній компанії Alphabet. Щоб не відставати від швидкого прогресу технологій штучного інтелекту та бути готовими до вирішення проблем безпеки в a відповідальний До речі, нещодавно ми розширили наш існуючий Програма Bug Hunters сприяти виявленню третіми сторонами проблем і вразливостей, характерних для наших систем ШІ, і повідомляти про них. Це розширення є частиною наших зусиль із впровадження добровільні зобов'язання щодо ШІ який ми зробили в Білому домі в липні.
Щоб допомогти спільноті безпеки краще зрозуміти ці події, ми включили більше інформації про елементи програми винагород.
Що входить до сфери винагороди
У нашій останній Звіт червоної команди AI, на основі якої Червона команда AI від Google навчань, ми визначили загальні тактики, техніки та процедури (TTP), які ми вважаємо найбільш відповідними та реалістичними для супротивників у реальному світі для використання проти систем ШІ. У наведеній нижче таблиці наведено те, що ми дізналися, щоб допомогти дослідницькому співтовариству зрозуміти наші критерії для звітів про помилки штучного інтелекту та що стосується сфери застосування нашої програми винагород. Важливо зазначити, що суми винагороди залежать від серйозності сценарію атаки та типу цілі, на яку вона впливає (відвідайте сторінка правил програми для отримання додаткової інформації в нашій таблиці винагород).
Атаки підказок: створення змагальних підказок, які дозволяють супротивнику впливати на поведінку моделі та, отже, на результат, не передбаченим програмою способом. |
Швидкі ін’єкції, які невидимі для жертв і змінюють стан облікового запису жертви або будь-яких її активів. |
|
Оперативні ін’єкції в будь-які інструменти, у яких відповідь використовується для прийняття рішень, які безпосередньо впливають на користувачів-жертв. |
||
Витяг підказки або преамбули, у якому користувач може витягнути початкову підказку, яка використовується для заповнення моделі, лише якщо конфіденційна інформація присутня у витягнутій преамбулі. |
||
Використання продукту для створення порушливого, оманливого або фактично неправильного вмісту під час власного сеансу: наприклад, «втечі з в’язниці». Це включає «галюцинації» та фактично неточні відповіді. У генеративних продуктах штучного інтелекту Google уже є спеціальний канал для звітування про такі типи проблем із контентом. |
Виходить за рамки |
|
Вилучення навчальних даних: атаки, які дозволяють успішно реконструювати дослівні навчальні приклади, які містять конфіденційну інформацію. Також називається висновком про членство. |
Вилучення навчальних даних, яке реконструює елементи, що використовуються в наборі навчальних даних, які витікають конфіденційну закриту інформацію. |
|
Вилучення, яке реконструює неконфіденційну/загальнодоступну інформацію. |
Виходить за рамки |
|
Маніпулювання моделями: зловмисник, здатний приховано змінити поведінку моделі таким чином, щоб він міг ініціювати заздалегідь визначену ворожу поведінку. |
Змагальний вихід або поведінка, яку зловмисник може надійно викликати через певний вхід у модель, якою володіє та керує Google («бекдори»). Лише в межах, коли вихідні дані моделі використовуються для зміни стану облікового запису або даних жертви. |
|
Атаки, під час яких зловмисник маніпулює навчальними даними моделі, щоб вплинути на вихід моделі в сеансі жертви відповідно до вподобань зловмисника. Лише в межах, коли вихідні дані моделі використовуються для зміни стану облікового запису або даних жертви. |
||
Суперечливе збурення: вхідні дані, які надаються в модель, що призводить до детермінованого, але дуже несподіваного результату моделі. |
Контексти, в яких зловмисник може надійно викликати неправильну класифікацію в елементі керування безпекою, який може бути використаний для зловмисного використання або конкурентної вигоди. |
|
Контексти, у яких неправильні результати або класифікація моделі не створюють переконливого сценарію атаки чи можливого шляху до шкоди Google або користувачам. |
Виходить за рамки |
|
Крадіжка/викрадання моделі: моделі штучного інтелекту часто містять конфіденційну інтелектуальну власність, тому ми надаємо пріоритет захисту цих активів. Ексфільтраційні атаки дозволяють зловмисникам викрасти деталі про модель, наприклад її архітектуру або ваги. |
Атаки, під час яких витягується точна архітектура або ваги конфіденційної/захищеної моделі. |
|
Атаки, у яких архітектура та ваги не витягуються точно, або коли вони витягуються з неконфіденційної моделі. |
Виходить за рамки |
|
Якщо ви виявите недолік в інструменті на основі штучного інтелекту, відмінний від зазначеного вище, ви все одно можете подати його за умови, що він відповідає кваліфікації, перелічені на сторінці нашої програми. |
Помилка або поведінка, яка чітко відповідає нашим вимогам щодо дійсної проблеми безпеки чи порушення. |
|
Використання продукту штучного інтелекту, щоб зробити щось потенційно шкідливе, що вже можливо з іншими інструментами. Наприклад, знайти вразливість у програмному забезпеченні з відкритим кодом (вже можливо за допомогою загальнодоступних засоби статичного аналізу) і створення відповіді на шкідливе запитання, коли відповідь уже доступна в Інтернеті. |
Виходить за рамки |
|
Згідно з нашою програмою, проблеми, про які ми вже знаємо, не мають права на винагороду. |
Виходить за рамки |
|
Потенційні проблеми з авторським правом — результати, коли продукти повертають вміст, який виглядає захищеним авторським правом. У генеративних продуктах штучного інтелекту Google уже є спеціальний канал для звітування про такі типи проблем із контентом. |
Виходить за рамки |
Ми віримо, що розширення нашої програми винагород за помилки на наші системи ШІ допоможе відповідальні інновації ШІ, і з нетерпінням чекаємо на продовження нашої роботи з дослідницькою спільнотою, щоб виявити та виправити проблеми з безпекою та зловживаннями в наших функціях на основі ШІ. Якщо ви знайшли відповідну проблему, будь ласка, перейдіть на наш веб-сайт Bug Hunters, щоб надіслати нам свій звіт про помилку та — якщо проблему буде визнано дійсною — отримайте винагороду за допомогу нам у захисті наших користувачів.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://www.darkreading.com/vulnerabilities-threats/establishing-reward-criteria-for-reporting-bugs-in-ai-products
- :є
- : ні
- $UP
- 26
- 32
- 33
- 35%
- 36
- 41
- 7
- 8
- 9
- a
- Здатний
- МЕНЮ
- вище
- зловживання
- зловживати
- За
- рахунки
- адреса
- адресація
- аванси
- змагальність
- впливати
- постраждалих
- проти
- AI
- Моделі AI
- Системи ШІ
- Можливість
- дозволяти
- вже
- Також
- суми
- an
- аналіз
- та
- відповідь
- будь-який
- додаток
- архітектура
- ЕСТЬ
- AS
- Активи
- At
- атака
- нападки
- доступний
- бекдори
- заснований
- BE
- поведінка
- Вірити
- Краще
- щедрість
- програма баунті
- Помилка
- помилка баунті
- помилки
- але
- by
- званий
- CAN
- проблеми
- зміна
- Канал
- класифікація
- очевидно
- загальний
- співтовариство
- переконливий
- Вважати
- послідовний
- містити
- зміст
- триває
- внески
- контроль
- авторське право
- Критерії
- передовий
- дані
- набір даних
- рішення
- присвячених
- залежний
- деталі
- події
- безпосередньо
- відкрити
- відкриття
- do
- робить
- e
- зусилля
- елементи
- має право
- забезпечувати
- налагодження
- Ефір (ETH)
- приклад
- Приклади
- ексфільтрація
- розширений
- розширюється
- розширення
- зовнішній
- витяг
- видобуток
- реально
- риси
- знайти
- виявлення
- результати
- виправляти
- недолік
- після
- для
- Вперед
- Сприяти
- знайдений
- від
- FT
- Отримувати
- породжувати
- генеративний
- Генеративний ШІ
- Go
- шкодити
- шкідливий
- Мати
- допомога
- допомогу
- отже
- Високий
- дуже
- честь
- будинок
- HTML
- HTTP
- HTTPS
- ідентифікований
- if
- здійснювати
- важливо
- in
- неточні
- включати
- включені
- includes
- об'єднує
- вплив
- інформація
- початковий
- вхід
- витрати
- інтелектуальний
- інтелектуальна власність
- призначених
- в
- невидимий
- питання
- питання
- IT
- пунктів
- ЙОГО
- JPG
- липень
- тримати
- Знати
- витік
- вчений
- Перераховані
- подивитися
- made
- підтримувати
- зробити
- відповідає
- членство
- вводить в оману
- модель
- Моделі
- більше
- найбільш
- увагу
- of
- часто
- on
- онлайн
- тільки
- відкрити
- з відкритим вихідним кодом
- працювати
- or
- Інше
- наші
- вихід
- власний
- яка перебуває у власності
- частина
- шлях
- місце
- plato
- Інформація про дані Платона
- PlatoData
- будь ласка
- це можливо
- потенційно
- точно
- підготовлений
- представити
- Prime
- пріоритет
- Процедури
- виробництво
- Product
- Продукти
- програма
- підказок
- властивості
- власність
- захищений
- захищає
- за умови
- публічно
- кваліфікація
- кваліфікаційний
- питання
- швидко
- RE
- Реальний світ
- реалістичний
- нещодавно
- червоний
- доречний
- звітом
- Звітність
- Звіти
- дослідження
- Дослідницьке співтовариство
- відповідь
- відповіді
- результати
- повертати
- Винагороджувати
- винагороджені
- Правила
- s
- сейф
- сценарій
- сфера
- безпеку
- послати
- чутливий
- Сесія
- комплект
- строгість
- So
- Софтвер
- що в сім'ї щось
- Source
- конкретний
- стан
- Як і раніше
- представляти
- Успішно
- такі
- підтримка
- Systems
- таблиця
- тактика
- Мета
- команда
- методи
- Технології
- ніж
- Що
- Команда
- Держава
- їх
- Ці
- вони
- третя сторона
- це
- до
- інструмент
- інструменти
- Навчання
- викликати
- тип
- Типи
- розуміти
- Unexpected
- us
- використання
- використовуваний
- користувач
- користувачі
- використання
- дійсний
- Ve
- через
- Жертва
- жертви
- візит
- добровільно
- Уразливості
- вразливість
- шлях..
- способи
- we
- Web
- веб-сайт
- були
- Що
- Що таке
- коли
- який
- білий
- Білий дім
- Вікіпедія
- волі
- з
- Work
- ви
- вашу
- зефірнет