Скайнет, эй? Чего ожидать от угроз безопасности, связанных с ИИ нового поколения?

Поскольку инновации в области искусственного интеллекта (ИИ) продолжаются быстрыми темпами, 2024 год станет решающим временем для организаций и руководящих органов по установлению стандартов безопасности, протоколов и других мер, которые не позволят ИИ опередить их, предупреждают эксперты по безопасности.

Большие языковые модели (LLM), основанные на сложных алгоритмах и массивных наборах данных, демонстрируют замечательное понимание языка и разговорные способности, подобные человеческим. Одной из самых сложных из этих платформ на сегодняшний день является GPT-4 от OpenAI, которая может похвастаться расширенными возможностями рассуждения и решения проблем и обеспечивает работу бота ChatGPT компании. И компания в партнерстве с Microsoft начала работу над GPT-5, о чем сообщил генеральный директор Сэм Альтман. пойду гораздо дальше — вплоть до обладания «сверхинтеллектом».

Эти модели представляют собой огромный потенциал для значительного повышения производительности и эффективности организаций, но эксперты сходятся во мнении, что пришло время для отрасли в целом. для устранения присущих рисков безопасности обусловлено их разработкой и внедрением. Действительно, недавнее исследование Writerbuddy AI, которая предлагает инструмент для написания контента на основе искусственного интеллекта, обнаружила, что ChatGPT уже имеет 14 миллиардов посещений и продолжает расти.

По мере того, как организации идут к прогрессу в области искусственного интеллекта, это «должно сопровождаться строгими этическими соображениями и оценкой рисков», — говорит Гал Рингел, генеральный директор компании MineOS, занимающейся конфиденциальностью и безопасностью на основе искусственного интеллекта.

Является ли ИИ экзистенциальной угрозой?

Обеспокоенность по поводу безопасности следующего поколения ИИ начала проявляться в марте, когда почти 34,000 XNUMX ведущих технологов подписали открытое письмо, в котором содержится призыв остановить разработку генеративных систем ИИ, более мощных, чем OpenAI GPT-4. В письме упоминались «глубокие риски» для общества, которые представляет эта технология, и «вышедшая из-под контроля гонка лабораторий искусственного интеллекта по разработке и внедрению еще более мощных цифровых умов, которые никто — даже их создатели — не может понять, предсказать или надежный контроль».

Несмотря на эти мрачные страхи, большинство экспертов по безопасности не слишком обеспокоены сценарием конца света, в котором машины станут умнее людей и захватят мир.

«В открытом письме отмечены обоснованные опасения по поводу быстрого развития и потенциального применения ИИ в широком смысле: «хорошо ли это для человечества», — говорит Мэтт Уилсон, директор по продажам компании по кибербезопасности Netrix. «Хотя общедоступные версии инструментов ИИ впечатляют в определенных сценариях, они не кажутся такими уж угрожающими».

Исследователи отмечают, что беспокойство вызывает тот факт, что развитие и внедрение ИИ происходит слишком быстро, чтобы можно было должным образом управлять рисками. «Мы не можем снова закрыть крышку ящика Пандоры», — отмечает Патрик Харр, генеральный директор компании SlashNext, занимающейся безопасностью ИИ.

Более того, простые «попытки остановить темпы инноваций в этой области не помогут смягчить» те риски, которые они представляют, и которые необходимо решать отдельно, отмечает Маркус Фаулер, генеральный директор компании по обеспечению безопасности искусственного интеллекта DarkTrace Federal. По его словам, это не означает, что развитие ИИ должно продолжаться беспрепятственно. Напротив, скорость оценки рисков и реализации соответствующих мер предосторожности должна соответствовать скорости обучения и развития LLM.

«Технологии искусственного интеллекта быстро развиваются, поэтому правительства и организации, использующие искусственный интеллект, также должны ускорить обсуждение вопросов безопасности искусственного интеллекта», — объясняет Фаулер.

Генеративные риски ИИ

Существует несколько широко признанных рисков для генеративного ИИ, которые требуют рассмотрения и будут только ухудшаться по мере того, как будущие поколения технологий станут умнее. К счастью для людей, ни один из них пока не предлагает научно-фантастического сценария конца света, в котором ИИ сговаривается уничтожить своих создателей.

Вместо этого они включают в себя гораздо более знакомые угрозы, такие как утечка данных, потенциально конфиденциальной для бизнеса; неправомерное использование для вредоносной деятельности; и неточные результаты, которые могут ввести в заблуждение или запутать пользователей, что в конечном итоге приведет к негативным последствиям для бизнеса.

Поскольку LLM требует доступа к огромным объемам данных для предоставления точных и контекстуально соответствующих результатов, конфиденциальная информация может быть непреднамеренно раскрыта или использована не по назначению.

«Основной риск — это сотрудники, которые его кормят» с деловой информацией когда просят написать план или перефразировать электронные письма или бизнес-презентации, содержащие конфиденциальную информацию компании», — отмечает Рингель.

С точки зрения кибератак, злоумышленники уже нашли множество способов использовать ChatGPT и другие системы искусственного интеллекта в качестве оружия. Одним из способов было использование этих моделей для создания сложной компрометации деловой электронной почты (BEC) и других фишинговых атак, которые требуют создания социально спроектированных, персонализированных сообщений, рассчитанных на успех.

«Благодаря вредоносному ПО ChatGPT позволяет киберпреступникам создавать бесконечное количество вариаций кода, чтобы оставаться на шаг впереди механизмов обнаружения вредоносных программ», — говорит Харр.

Галлюцинации ИИ также представляют собой серьезную угрозу безопасности и позволяют злоумышленникам уникальным образом использовать технологии на основе LLM, такие как ChatGPT. Галлюцинация ИИ — это правдоподобная реакция ИИ, которая является недостаточной, предвзятой или совершенно неверной. «Вымышленные или другие нежелательные реакции могут подтолкнуть организации к ошибочному принятию решений, процессам и вводящим в заблуждение коммуникациям», — предупреждает Авива Литан, вице-президент Gartner.

Злоумышленники также могут использовать эти галлюцинации, чтобы отравить LLM и «генерировать конкретную дезинформацию в ответ на вопрос», — отмечает Майкл Райнхарт, вице-президент по искусственному интеллекту в поставщике безопасности данных Securiti. «Это расширяется до генерации уязвимого исходного кода и, возможно, до моделей чата, способных направлять пользователей сайта на небезопасные действия».

Злоумышленники могут даже зайти так далеко, что публиковать вредоносные версии программных пакетов который LLM может порекомендовать разработчику программного обеспечения, полагая, что это законное решение проблемы. Таким образом, злоумышленники могут дополнительно использовать ИИ в качестве оружия для проведения атак на цепочки поставок.

Путь вперед

Эксперты отмечают, что управление этими рисками потребует взвешенных и коллективных действий, прежде чем инновации в области искусственного интеллекта превзойдут способность отрасли контролировать их. Но у них также есть идеи о том, как решить проблему ИИ.

Харр верит в «сражайся с ИИ с помощью АСтратегия, в которой «достижения в области решений безопасности и стратегий предотвращения рисков, вызванных ИИ, должны развиваться такими же или более высокими темпами.

«Защита кибербезопасности должна использовать искусственный интеллект для успешной борьбы с киберугрозами с использованием технологии искусственного интеллекта», — добавляет он. «Для сравнения, устаревшие технологии безопасности не имеют шансов противостоять этим атакам».

Однако организациям также следует применять взвешенный подход к внедрению ИИ, в том числе Решения безопасности на основе искусственного интеллекта — Чтобы они не привнесли больше рисков в свою среду, предупреждает Уилсон из Netrix.

«Поймите, что такое ИИ, а что нет», — советует он. «Предложите поставщикам, которые заявляют, что используют ИИ, описать, что он делает, как он улучшает их решения и почему это важно для вашей организации».

Райнхарт из Securiti предлагает двухуровневый подход к поэтапному внедрению ИИ в среду путем развертывания целенаправленных решений, а затем установки ограждений непосредственно перед тем, как подвергать организацию ненужному риску.

«Сначала примите модели, ориентированные на конкретные приложения, потенциально дополненные базами знаний, которые адаптированы для обеспечения ценности в конкретных случаях использования», — говорит он. «Затем… внедрите систему мониторинга для защиты этих моделей, проверяя поступающие и исходящие от них сообщения на предмет проблем конфиденциальности и безопасности».

Эксперты также рекомендуют устанавливать политики и процедуры безопасности в отношении ИИ до его развертывания, а не в качестве второстепенной мысли для снижения риска. Они могут даже создать специального специалиста по рискам ИИ или рабочую группу для надзора за соблюдением требований.

За пределами предприятия отрасль в целом также должна предпринять шаги по установлению стандартов и методов безопасности в отношении ИИ, которые сможет принять каждый, кто разрабатывает и использует эту технологию, — что потребует коллективных действий как государственного, так и частного сектора в глобальном масштабе. , - говорит Фаулер из DarkTrace Federal.

Он цитирует рекомендации по созданию безопасных систем искусственного интеллекта опубликовано совместно Агентством кибербезопасности и безопасности инфраструктуры США (CISA) и Национальным центром кибербезопасности Великобритании (NCSC) в качестве примера усилий, которые должны сопровождать продолжающуюся эволюцию искусственного интеллекта.

«По сути, — говорит Райнхарт из Securiti, — 2024 год станет свидетелем быстрой адаптации как традиционных технологий безопасности, так и передовых методов искусственного интеллекта для защиты пользователей и данных в эту зарождающуюся эпоху генеративного искусственного интеллекта».

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://www.darkreading.com/vulnerabilities-threats/skynet-ahoy-what-to-expect-next-gen-ai-security-risks