Приложения генеративного искусственного интеллекта (ИИ), построенные на основе больших языковых моделей (LLM), продемонстрировали потенциал создания и ускорения экономической выгоды для бизнеса. Примеры приложений включают в себя разговорный поиск, помощь агента службы поддержки клиентов, аналитика поддержки клиентов, виртуальные помощники самообслуживания, chatbots, поколение богатых медиа, модерация контента, помощники по программированию для ускорения безопасной и высокопроизводительной разработки программного обеспечения., более глубокое понимание источников мультимодального контента, ускорение расследований и мер по снижению рисков в вашей организации, и многое другое. Многие клиенты ищут рекомендации по управлению безопасностью, конфиденциальностью и соответствием требованиям при разработке генеративных приложений искусственного интеллекта. Понимание и устранение уязвимостей, угроз и рисков LLM на этапах проектирования и архитектуры помогает командам сосредоточиться на максимизации экономических преимуществ и преимуществ производительности, которые может принести генерирующий ИИ. Осведомленность о рисках способствует прозрачности и доверию к генеративным приложениям искусственного интеллекта, способствует повышению наблюдаемости, помогает соблюдать требования соответствия и облегчает принятие информированных решений руководителями.
Цель этого поста — дать возможность инженерам искусственного интеллекта и машинного обучения (ML), ученым, работающим с данными, архитекторам решений, командам безопасности и другим заинтересованным сторонам иметь общую ментальную модель и структуру для применения лучших практик безопасности, что позволит командам AI/ML двигаться дальше. быстро, не жертвуя безопасностью ради скорости. В частности, этот пост призван помочь ученым в области искусственного интеллекта, машинного обучения и данных, которые, возможно, ранее не сталкивались с принципами безопасности, получить представление об основных передовых практиках безопасности и конфиденциальности в контексте разработки генеративных приложений ИИ с использованием LLM. Мы также обсуждаем общие проблемы безопасности, которые могут подорвать доверие к ИИ, как указано в докладе Открытый всемирный проект безопасности приложений (OWASP) — 10 лучших приложений LLMи покажите, как можно использовать AWS для повышения уровня безопасности и уверенности, одновременно внедряя инновации с помощью генеративного искусственного интеллекта.
В этом посте представлены три пошаговых руководства по разработке стратегий управления рисками при разработке генеративных приложений искусственного интеллекта с использованием LLM. Сначала мы углубимся в уязвимости, угрозы и риски, возникающие в результате внедрения, развертывания и использования решений LLM, а также дадим рекомендации о том, как начать инновации с учетом безопасности. Затем мы обсудим, насколько важно создание надежного фундамента для генеративного ИИ. Наконец, мы соединяем их вместе с примером рабочей нагрузки LLM, чтобы описать подход к проектированию архитектуры с глубокоэшелонированной защитой через границы доверия.
К концу этого поста, Инженеры искусственного интеллекта и машинного обучения, ученые, работающие с данными, и технологи, ориентированные на безопасность, смогут определить стратегии создания многоуровневой защиты для своих генеративных приложений искусственного интеллекта, понять, как сопоставить 10 лучших проблем безопасности OWASP для LLM с некоторыми соответствующими средствами контроля, а также получить базовые знания для решения проблем безопасности. отвечая на следующие популярные темы вопросов клиентов AWS об их приложениях:
- Каковы некоторые общие риски безопасности и конфиденциальности при использовании генеративного ИИ на основе LLM в моих приложениях, на которые я могу больше всего повлиять с помощью этого руководства?
- Каковы способы реализации средств контроля безопасности и конфиденциальности в жизненном цикле разработки генеративных приложений AI LLM на AWS?
- Какие передовые операционные и технические практики я могу интегрировать в то, как моя организация создает приложения LLM для генеративного ИИ, чтобы управлять рисками и повышать уверенность в приложениях генеративного ИИ с использованием LLM?
Улучшение результатов в области безопасности при разработке генеративного искусственного интеллекта
Инновации в области генеративного искусственного интеллекта с использованием LLM требуют начинать с обеспечения безопасности, чтобы развивать устойчивость организации, строить на безопасной основе и интегрировать безопасность с подходом глубокоэшелонированной защиты. Безопасность – это общая ответственность между AWS и клиентами AWS. Все принципы модели общей ответственности AWS применимы к генеративным решениям искусственного интеллекта. Обновите свое понимание модели общей ответственности AWS применительно к инфраструктуре, сервисам и данным при создании решений LLM.
Начните с обеспечения безопасности, чтобы повысить устойчивость организации.
Начните с обеспечения безопасности, чтобы повысить устойчивость организации при разработке генеративных приложений искусственного интеллекта, соответствующих вашим целям безопасности и соответствия нормативным требованиям. Организационная устойчивость опирается на и расширяет определение отказоустойчивости в AWS Well-Architected Framework включить и подготовиться к способности организации восстанавливаться после сбоев. При оценке общей готовности к разработке генеративного искусственного интеллекта с помощью LLM и устойчивости вашей организации к любым потенциальным воздействиям учитывайте свой уровень безопасности, качество управления и операционную эффективность. По мере того, как ваша организация расширяет использование новых технологий, таких как генеративный искусственный интеллект и LLM, общую устойчивость организации следует рассматривать как краеугольный камень многоуровневой защитной стратегии для защиты активов и направлений бизнеса от непредвиденных последствий.
Организационная устойчивость имеет существенное значение для заявок на получение степени LLM.
Хотя все программы управления рисками могут выиграть от устойчивости, организационная устойчивость имеет существенное значение для генеративного ИИ. Пять из 10 основных рисков для приложений LLM, определенных OWASP, основаны на определении архитектурных и эксплуатационных мер контроля и их применении в масштабе организации для управления рисками. Этими пятью рисками являются небезопасная обработка продукции, уязвимости цепочки поставок, раскрытие конфиденциальной информации, чрезмерная свобода действий и чрезмерная уверенность. Начните повышать устойчивость организации, убедив свои команды считать ИИ, машинное обучение и генеративную безопасность ИИ основным бизнес-требованием и главным приоритетом на протяжении всего жизненного цикла продукта, от зарождения идеи до исследований, разработки, развертывания и внедрения приложения. использовать. Помимо повышения осведомленности, ваши команды должны принять меры по учету генеративного ИИ в практиках управления, обеспечения качества и проверки соответствия.
Повысьте устойчивость организации с помощью генеративного ИИ
Организации могут начать внедрять способы наращивания своего потенциала и возможностей для AI/ML и генеративной безопасности AI в своих организациях. Вам следует начать с расширения существующих программ безопасности, обеспечения соответствия, соответствия требованиям и развития с учетом генеративного ИИ.
Ниже приведены пять ключевых областей, представляющих интерес для организационного искусственного интеллекта, машинного обучения и безопасности генеративного искусственного интеллекта:
- Понимание ландшафта безопасности AI/ML
- Включение различных точек зрения в стратегии безопасности
- Принимайте активные меры для обеспечения научно-исследовательской деятельности.
- Согласуйте стимулы с организационными результатами
- Подготовьтесь к реалистичным сценариям безопасности в области искусственного интеллекта, машинного обучения и генеративного искусственного интеллекта.
Разработайте модель угроз на протяжении всего жизненного цикла генеративного ИИ.
Организации, использующие генеративный ИИ, должны сосредоточиться на управлении рисками, а не на их устранении, и включать моделирование угроз в и планирование непрерывности бизнеса планирование, разработка и эксплуатация рабочих нагрузок генеративного ИИ. Отойдите от производственного использования генеративного ИИ, разработав модель угроз для каждого приложения, используя традиционные риски безопасности, а также риски, специфичные для генеративного ИИ. Некоторые риски могут быть приемлемыми для вашего бизнеса, и моделирование угроз может помочь вашей компании определить, каков ваш приемлемый риск-аппетит. Например, вашему бизнесу может не требоваться время безотказной работы 99.999% приложения генеративного ИИ, поэтому дополнительное время восстановления, связанное с восстановлением с использованием Резервное копирование AWS Амазонка S3 Glacier может быть приемлемым риском. И наоборот, данные в вашей модели могут быть чрезвычайно конфиденциальными и строго регламентированными, поэтому отклонение от Служба управления ключами AWS (АМС КМС) управляемый клиентом ключ (CMK) ротация и использование Сетевой брандмауэр AWS обеспечение безопасности транспортного уровня (TLS) для входящего и исходящего трафика для защиты от кражи данных может быть неприемлемым риском.
Оцените риски (свойственные и остаточные) использования приложения генеративного ИИ в производственных условиях, чтобы определить правильные базовые элементы управления и средства контроля на уровне приложения. Запланируйте откат и восстановление после событий безопасности производства и сбоев в работе служб, таких как быстрое внедрение, отравление обучающих данных, отказ в обслуживании модели и кража модели, на раннем этапе, а также определите меры по снижению рисков, которые вы будете использовать при определении требований к приложению. Изучение рисков и средств контроля, которые необходимо внедрить, поможет определить лучший подход к реализации создания генеративного приложения ИИ, а также предоставит заинтересованным сторонам и лицам, принимающим решения, информацию для принятия обоснованных бизнес-решений относительно рисков. Если вы не знакомы с общим рабочим процессом искусственного интеллекта и машинного обучения, начните с изучения 7 способов повысить безопасность ваших рабочих нагрузок машинного обучения повысить осведомленность о средствах управления безопасностью, необходимых для традиционных систем искусственного интеллекта и машинного обучения.
Как и создание любого приложения ML, создание приложения генеративного ИИ предполагает прохождение ряда этапов жизненного цикла исследований и разработок. Возможно, вы захотите просмотреть Матрица области безопасности генеративного искусственного интеллекта AWS чтобы помочь построить ментальную модель для понимания ключевых дисциплин безопасности, которые вам следует учитывать в зависимости от того, какое генеративное решение ИИ вы выберете.
Приложения генеративного искусственного интеллекта с использованием LLM обычно разрабатываются и эксплуатируются в соответствии с порядковыми этапами:
- Требования к кандидатам – Определить бизнес-цели, требования и критерии успеха варианта использования.
- Выбор модели – Выберите базовую модель, соответствующую требованиям варианта использования.
- Адаптация и тонкая настройка модели – Подготовьте данные, создайте подсказки и настройте модель.
- Оценка модели – Оцените базовые модели с помощью показателей, специфичных для конкретного случая использования, и выберите наиболее эффективную модель.
- Развертывание и интеграция – Разверните выбранную базовую модель в своей оптимизированной инфраструктуре и интегрируйте ее с вашим генеративным приложением искусственного интеллекта.
- Мониторинг приложений – Мониторинг производительности приложений и моделей для обеспечения анализа первопричин.
Убедитесь, что команды понимают критическую природу безопасности на этапах проектирования и архитектуры жизненного цикла разработки программного обеспечения с первого дня. Это означает обсуждение безопасности на каждом уровне вашего стека и жизненного цикла, а также позиционирование безопасности и конфиденциальности как средств достижения бизнес-целей. Архитектор контролирует угрозы перед запуском приложения LLM и учитывает, гарантируют ли данные и информация, которые вы будете использовать для адаптации и точной настройки модели, внедрение средств контроля в средах исследований, разработок и обучения. В рамках тестов обеспечения качества представляйте синтетические угрозы безопасности (например, попытки подделать обучающие данные или попытки извлечь конфиденциальные данные с помощью злонамеренной разработки подсказок), чтобы регулярно проверять свою защиту и состояние безопасности.
Кроме того, заинтересованные стороны должны установить последовательную периодичность проверки рабочих нагрузок производственных ИИ, машинного обучения и генеративного ИИ, а также установить организационный приоритет на понимании компромиссов между человеческим и машинным контролем и ошибками перед запуском. Проверка и обеспечение соблюдения этих компромиссов в развернутых приложениях LLM повысит вероятность успешного снижения рисков.
Создавайте генеративные приложения искусственного интеллекта на безопасной облачной основе.
В AWS безопасность является нашим главным приоритетом. AWS спроектирован как самая безопасная глобальная облачная инфраструктура для создания, миграции и управления приложениями и рабочими нагрузками. Это подкреплено нашим обширным набором из более чем 300 инструментов облачной безопасности и доверием миллионов наших клиентов, включая наиболее чувствительные к безопасности организации, такие как государственные учреждения, учреждения здравоохранения и финансовые службы. Создавая генеративные приложения искусственного интеллекта с использованием LLM на AWS, вы получаете преимущества в области безопасности за счет безопасная, надежная и гибкая среда облачных вычислений AWS.
Используйте глобальную инфраструктуру AWS для обеспечения безопасности, конфиденциальности и соответствия требованиям.
Разрабатывая приложения с интенсивным использованием данных на AWS, вы можете воспользоваться преимуществами глобальной региональной инфраструктуры AWS, спроектированной так, чтобы обеспечить возможности для удовлетворения ваших основных требований безопасности и соответствия нормативным требованиям. Это подкрепляется нашим Залог AWS в области цифрового суверенитета, наше стремление предложить вам самый продвинутый набор средств контроля и функций суверенитета, доступных в облаке. Мы стремимся расширять наши возможности, чтобы вы могли удовлетворить ваши цифровой суверенитет потребностям без ущерба для производительности, инноваций, безопасности или масштаба облака AWS. Чтобы упростить внедрение передовых методов обеспечения безопасности и конфиденциальности, рассмотрите возможность использования эталонных проектов и инфраструктуры в качестве ресурсов кода, таких как Эталонная архитектура безопасности AWS (AWS SRA) и Эталонная архитектура конфиденциальности AWS (AWS PRA), Узнайте больше о разработка решений для обеспечения конфиденциальности, суверенитет по замыслуи соответствие требованиям AWS и использовать такие сервисы, как Конфигурация АВС, AWS Артефакти Менеджер по аудиту AWS для поддержки ваших потребностей в конфиденциальности, соблюдении требований, аудите и наблюдении.
Изучите уровень своей безопасности с помощью AWS Well-Architected и Cloud Adoption Frameworks.
AWS предлагает рекомендации по передовой практике, разработанные на основе многолетнего опыта поддержки клиентов при проектировании облачных сред с помощью Платформа AWS с хорошей архитектурой и в развитии, позволяющем реализовать бизнес-ценность облачных технологий с помощью Платформа внедрения облака AWS (AWS CAF). Изучите состояние безопасности ваших рабочих нагрузок искусственного интеллекта, машинного обучения и генеративного искусственного интеллекта, выполнив проверку Well-Architected Framework. Обзоры можно выполнять с помощью таких инструментов, как Хорошо спроектированный инструмент AWSили с помощью вашей команды AWS через Поддержка предприятий AWS. Инструмент AWS с хорошо продуманной архитектурой автоматически интегрирует аналитические данные от Доверенный советник AWS оценить, какие лучшие практики существуют и какие существуют возможности для улучшения функциональности и оптимизации затрат. Инструмент AWS Well-Architected также предлагает индивидуальные линзы с учетом конкретных передовых практик, таких как Объектив машинного обучения чтобы вы могли регулярно сравнивать свои архитектуры с лучшими практиками и определять области для улучшения. Определите свой путь к реализации ценности и зрелости облака, понимая, как клиенты AWS применяют стратегии для развития организационных возможностей в AWS Cloud Adoption Framework для искусственного интеллекта, машинного обучения и генеративного ИИ. Вы также можете получить пользу от понимания своей общей готовности к облаку, приняв участие в Оценка готовности облака AWS. AWS предлагает дополнительные возможности для взаимодействия — обратитесь к своей команде по работе с клиентами AWS за дополнительной информацией о том, как начать работу с Инновационный центр генеративного ИИ.
Ускорьте обучение безопасности и AI/ML с помощью рекомендаций по передовому опыту, обучения и сертификации.
AWS также курирует рекомендации от Лучшие практики для обеспечения безопасности, идентификации и соответствия требованиям и Документация по безопасности AWS чтобы помочь вам определить способы обеспечения безопасности среды обучения, разработки, тестирования и эксплуатации. Если вы только начинаете, углубитесь в обучение и сертификацию по безопасности, рассмотрите возможность начать с Основы безопасности AWS и План обучения AWS по безопасности, Вы также можете использовать Модель зрелости безопасности AWS которые помогут вам найти и расставить приоритеты над лучшими действиями на разных этапах зрелости AWS, начиная с быстрых результатов и заканчивая основополагающими, эффективными и оптимизированными этапами. После того, как вы и ваши команды получите базовое представление о безопасности в AWS, мы настоятельно рекомендуем просмотреть Как подойти к моделированию угроз а затем провести упражнение по моделированию угроз с вашими командами, начиная с Семинар «Моделирование угроз для строителей» Программа обучения. Есть много других Ресурсы для обучения и сертификации AWS Security доступен.
Примените подход к глубокоэшелонированной защите для защиты приложений LLM
Применение подхода глубокоэшелонированной защиты к рабочим нагрузкам, данным и информации генеративного ИИ может помочь создать наилучшие условия для достижения ваших бизнес-целей. Передовые методы обеспечения глубокоэшелонированной защиты снижают многие распространенные риски, с которыми сталкивается любая рабочая нагрузка, помогая вам и вашим командам ускорить внедрение генеративных инноваций в области искусственного интеллекта. Стратегия глубокоэшелонированной защиты использует несколько резервных средств защиты для защиты ваших учетных записей AWS, рабочих нагрузок, данных и активов. Это помогает убедиться в том, что в случае взлома или сбоя какого-либо элемента управления безопасностью существуют дополнительные уровни, помогающие изолировать угрозы, а также предотвращать, обнаруживать, реагировать и восстанавливаться после событий безопасности. Вы можете использовать комбинацию стратегий, включая сервисы и решения AWS, на каждом уровне, чтобы повысить безопасность и отказоустойчивость ваших генеративных рабочих нагрузок ИИ.
Многие клиенты AWS придерживаются стандартных отраслевых платформ, таких как NIST Структура кибербезопасности. Эта структура помогает обеспечить защиту вашей системы безопасности по всем направлениям: выявление, защита, обнаружение, реагирование, восстановление и, недавно добавленное, управление. Затем эту платформу можно легко сопоставить со службами безопасности AWS и сервисами интегрированных третьих сторон, чтобы помочь вам проверить адекватное покрытие и политики для любого события безопасности, с которым сталкивается ваша организация.
Глубокоэшелонированная защита: защитите свою среду, а затем добавьте расширенные возможности безопасности и конфиденциальности, специфичные для искусственного интеллекта и машинного обучения.
Стратегия глубокоэшелонированной защиты должна начинаться с защиты ваших учетных записей и организации, а затем накладывать дополнительные встроенные функции безопасности и конфиденциальности таких служб, как Коренная порода Амазонки и Создатель мудреца Амазонки. Amazon имеет более 30 сервисов в портфеле безопасности, идентификации и соответствия требованиям. которые интегрированы с сервисами AWS AI/ML и могут использоваться вместе для защиты ваших рабочих нагрузок, учетных записей и организации. Чтобы правильно защититься от топ-10 OWASP для LLM, их следует использовать вместе с сервисами AWS AI/ML.
Начните с реализации политики наименьших привилегий, используя такие сервисы, как Анализатор доступа IAM в ищите слишком разрешительные учетные записи, роли и ресурсы, чтобы ограничить доступ с помощью краткосрочных учетных данных.. Затем убедитесь, что все хранящиеся данные зашифрованы с помощью AWS KMS, в том числе с учетом использования CMK, а все данные и модели имеют версии и резервные копии с использованием Простой сервис хранения Amazon (Amazon S3) управление версиями и применение неизменяемости на уровне объекта с помощью Блокировка объектов Amazon S3. Защитите все данные, передаваемые между службами, с помощью Диспетчер сертификатов AWS и / или Частный центр сертификации AWSи храните его в VPC, используя Приватная ссылка AWS. Определите строгие правила входа и выхода данных, чтобы защитить их от манипуляций и эксфильтрации с помощью VPC с Сетевой брандмауэр AWS политика. Рассмотрите возможность вставки Брандмауэр веб-приложений AWS (AWS WAF) перед защитить веб-приложения и API от вредоносные боты, SQL-инъекции, межсайтовый скриптинг (XSS), и поглощения счетов с Контроль мошенничества. Ведение журнала с AWS CloudTrail, Виртуальное частное облако Amazon (Amazon VPC) журналы потоков и Амазон Эластик Кубернетес Сервис (Amazon EKS) журналы аудита помогут провести судебную экспертизу каждой транзакции, доступной таким сервисам, как Амазонский детектив. Вы можете использовать Амазонка инспектор автоматизировать обнаружение уязвимостей и управление ими для Эластичное вычислительное облако Amazon (Amazon EC2) экземпляры, контейнеры, AWS Lambda функции и определить доступность сети для ваших рабочих нагрузок. Защитите свои данные и модели от подозрительной активности с помощью Амазонка - стражникмодели угроз и аналитические каналы на основе машинного обучения, а также активация дополнительных функций для защиты EKS, защиты ECS, защиты S3, защиты RDS, защиты от вредоносных программ, защиты Lambda и многого другого. Вы можете использовать такие сервисы, как Центр безопасности AWS централизовать и автоматизировать проверки безопасности для обнаружения отклонений от лучших практик безопасности, а также ускорить расследование и автоматизировать исправление обнаруженных нарушений безопасности с помощью сборников сценариев. Вы также можете рассмотреть возможность реализации нулевое доверие Архитектура на AWS для дальнейшего повышения детального контроля аутентификации и авторизации для того, к чему могут получить доступ пользователи-люди или межмашинные процессы для каждого запроса. Также рассмотрите возможность использования Озеро безопасности Амазонки для автоматической централизации данных безопасности из сред AWS, поставщиков SaaS, локальных и облачных источников в специально созданном озере данных, хранящемся в вашей учетной записи. С помощью Security Lake вы можете получить более полное представление о данных безопасности во всей вашей организации.
После того, как ваша рабочая среда генеративного ИИ будет защищена, вы можете добавить функции, специфичные для ИИ/МО, такие как Обработчик данных Amazon SageMaker для выявления потенциальной систематической ошибки во время подготовки данных и Amazon SageMaker Уточнить для выявления предвзятости в данных и моделях ОД. Вы также можете использовать Монитор моделей Amazon SageMaker чтобы оценить качество моделей SageMaker ML в производстве и уведомить вас об отклонениях в качестве данных, качестве модели и атрибуции функций. Совместная работа этих сервисов AWS AI/ML (включая SageMaker, работающий с Amazon Bedrock) и сервисов AWS Security может помочь вам выявить потенциальные источники естественной предвзятости и защитить от злонамеренного подделки данных. Повторите этот процесс для каждой из 10 наиболее уязвимых мест OWASP для LLM, чтобы убедиться, что вы максимизируете ценность сервисов AWS для реализации глубокоэшелонированной защиты для защиты ваших данных и рабочих нагрузок.
Как написал в своем блоге корпоративный стратег AWS Кларк Роджерс «Информация CISO: каждый сервис AWS — это сервис безопасности»«Я бы сказал, что практически каждый сервис в облаке AWS либо обеспечивает результат безопасности сам по себе, либо может использоваться (отдельно или в сочетании с одним или несколькими сервисами) клиентами для достижения целей безопасности, рисков или соответствия требованиям». И «директора по информационной безопасности клиентов (CISO) (или их соответствующие команды) могут захотеть потратить время на то, чтобы убедиться, что они хорошо разбираются во всех сервисах AWS, поскольку могут существовать цели безопасности, рисков или соответствия требованиям, которые могут быть достигнуты, даже если услуга не попадает в категорию «Безопасность, идентификация и соответствие требованиям».
Уровни защиты на границах доверия в приложениях LLM
При разработке генеративных систем и приложений на основе искусственного интеллекта вам следует учитывать те же проблемы, что и при работе с любым другим приложением машинного обучения, как указано в разделе Матрица угроз машинного обучения MITRE ATLAS, такие как учет происхождения программного обеспечения и компонентов данных (например, проведение аудита программного обеспечения с открытым исходным кодом, проверка спецификаций программного обеспечения (SBOM), анализ рабочих процессов данных и интеграции API) и внедрение необходимых средств защиты от угроз в цепочке поставок LLM. Включите информацию из отраслевых структур и узнайте о способах использования нескольких источников анализа угроз и информации о рисках для настройки и расширения вашей защиты безопасности для учета рисков безопасности, связанных с искусственным интеллектом, машинным обучением и генеративным искусственным интеллектом, которые возникают и не включены в традиционные структуры. Ищите сопутствующую информацию о рисках, связанных с ИИ, в отраслевых, оборонных, правительственных, международных и академических источниках, поскольку новые угрозы возникают и развиваются в этой области регулярно, а сопутствующие структуры и руководства часто обновляются. Например, при использовании модели извлечения дополненной генерации (RAG), если модель не включает необходимые ей данные, она может запросить их из внешнего источника данных для использования во время вывода и точной настройки. Источник, к которому он запрашивает, может находиться вне вашего контроля и может быть потенциальным источником компрометации в вашей цепочке поставок. Подход к глубокоэшелонированной защите должен быть распространен на внешние источники для установления доверия, аутентификации, авторизации, доступа, безопасности, конфиденциальности и точности данных, к которым осуществляется доступ. Чтобы погрузиться глубже, прочитайте «Создайте безопасное корпоративное приложение с помощью генеративного искусственного интеллекта и RAG с помощью Amazon SageMaker JumpStart.
Анализируйте и снижайте риски в ваших приложениях LLM
В этом разделе мы анализируем и обсуждаем некоторые методы снижения рисков, основанные на границах доверия и взаимодействиях или отдельных областях рабочей нагрузки с аналогичными соответствующими объемами контроля и профилем рисков. В этом примере архитектуры приложения чат-бота имеется пять границ доверия, где демонстрируются элементы управления, основанные на том, как клиенты AWS обычно создают свои приложения LLM. Ваше заявление на получение LLM может иметь больше или меньше определяемых границ доверия. В следующем примере архитектуры эти границы доверия определяются как:
- Взаимодействие с пользовательским интерфейсом (запрос и ответ)
- Взаимодействие с приложением
- Модель взаимодействия
- Взаимодействие с данными
- Организационные взаимодействия и использование
Взаимодействие с пользовательским интерфейсом: разработка мониторинга запросов и ответов.
Своевременно обнаруживайте киберинциденты, связанные с генеративным ИИ, и реагируйте на них, оценивая стратегию устранения рисков, связанных с входными и выходными данными приложения генеративного ИИ. Например, может потребоваться дополнительный мониторинг поведения и оттока данных для обнаружения раскрытия конфиденциальной информации за пределами вашего домена или организации в случае, если она используется в приложении LLM.
Приложения генеративного искусственного интеллекта по-прежнему должны соответствовать стандартным передовым практикам безопасности, когда речь идет о защите данных. Создать безопасный периметр данных и безопасные хранилища конфиденциальных данных. Шифруйте данные и информацию, используемые приложениями LLM, как при хранении, так и при передаче. Защитите данные, используемые для обучения вашей модели, от отравления обучающих данных, понимая и контролируя, каким пользователям, процессам и ролям разрешено вносить вклад в хранилища данных, а также как потоки данных в приложении, отслеживая отклонения от систематических ошибок, а также используя управление версиями и неизменяемое хранилище в таких службах хранения, как Amazon S3. Установите строгий контроль над входом и выходом данных с помощью таких сервисов, как сетевой брандмауэр AWS и облака AWS VPC, для защиты от подозрительного ввода и возможной кражи данных.
В процессе обучения, переподготовки или тонкой настройки вы должны знать обо всех используемых конфиденциальных данных. После того, как данные будут использованы в ходе одного из этих процессов, вам следует спланировать сценарий, в котором любой пользователь вашей модели внезапно сможет извлечь данные или информацию обратно, используя методы быстрого внедрения. Поймите риски и преимущества использования конфиденциальных данных в ваших моделях и выводах. Внедрите надежные механизмы аутентификации и авторизации для установления и управления детальными разрешениями доступа, которые не полагаются на логику приложения LLM для предотвращения раскрытия информации. Было продемонстрировано, что управляемый пользователем ввод в генеративное приложение ИИ при некоторых условиях может предоставить вектор для извлечения информации из модели или любых неконтролируемых пользователем частей ввода. Это может произойти посредством быстрого внедрения, когда пользователь вводит входные данные, из-за которых выходные данные модели отклоняются от ожидаемых ограничений приложения LLM, включая предоставление подсказок к наборам данных, на которых модель изначально обучалась.
Внедрите квоты доступа на уровне пользователя для пользователей, предоставляющих входные данные и получающих выходные данные модели. Вам следует рассмотреть подходы, которые не допускают анонимного доступа в условиях, когда данные и информация для обучения модели являются конфиденциальными или когда существует риск, связанный с тем, что злоумышленник обучает факсимиле вашей модели на основе своих входных данных и согласованных выходных данных вашей модели. В общем, если часть входных данных модели состоит из произвольного текста, предоставленного пользователем, считайте, что выходные данные подвержены быстрому внедрению, и, соответственно, убедитесь, что использование выходных данных включает реализованные технические и организационные контрмеры для смягчения небезопасной обработки выходных данных, чрезмерного вмешательства. и чрезмерная уверенность. В приведенном выше примере, связанном с фильтрацией вредоносных входных данных с помощью AWS WAF, рассмотрите возможность создания фильтра перед вашим приложением для такого потенциального неправильного использования подсказок и разработайте политику того, как обрабатывать и развивать их по мере роста вашей модели и данных. Также рассмотрите возможность отфильтрованной проверки выходных данных перед их возвратом пользователю, чтобы убедиться, что они соответствуют стандартам качества, точности или модерации контента. Возможно, вы захотите дополнительно настроить это в соответствии с потребностями вашей организации, добавив дополнительный уровень контроля входных и выходных данных перед вашими моделями, чтобы уменьшить подозрительные шаблоны трафика.
Взаимодействие приложений: безопасность и наблюдаемость приложений.
Просмотрите свое приложение LLM, обратив внимание на то, как пользователь может использовать вашу модель для обхода стандартной авторизации для последующего инструмента или цепочки инструментов, к которым у него нет разрешения на доступ или использование. Другая проблема на этом уровне связана с доступом к внешним хранилищам данных с использованием модели в качестве механизма атаки с использованием явных технических или организационных рисков LLM. Например, если ваша модель обучена для доступа к определенным хранилищам данных, которые могут содержать конфиденциальные данные, вам следует убедиться, что у вас есть надлежащие проверки авторизации между вашей моделью и хранилищами данных. Используйте неизменяемые атрибуты пользователей, которые не входят в модель, при выполнении проверок авторизации. Чрезмерная небезопасная обработка выходных данных, небезопасная конструкция плагинов и чрезмерное вмешательство могут создать условия, при которых злоумышленник может использовать модель, чтобы обманом заставить систему авторизации повысить действующие привилегии, что приведет к тому, что нижестоящий компонент будет полагать, что пользователь имеет право получать данные или выполнять определенные действия. действие.
При внедрении любого плагина или инструмента генеративного ИИ необходимо изучить и понять уровень предоставляемого доступа, а также тщательно изучить настроенные элементы управления доступом. Использование небезопасных плагинов генеративного искусственного интеллекта может сделать вашу систему уязвимой к уязвимостям и угрозам цепочки поставок, что потенциально может привести к злонамеренным действиям, включая запуск удаленного кода.
Взаимодействие моделей: предотвращение атак на модели
Вы должны знать происхождение любых моделей, плагинов, инструментов или данных, которые вы используете, чтобы оценить и устранить уязвимости цепочки поставок. Например, некоторые распространенные форматы моделей допускают встраивание произвольного работоспособного кода в сами модели. Используйте зеркала пакетов, сканирование и дополнительные проверки в соответствии с целями безопасности вашей организации.
Также необходимо просмотреть наборы данных, на которых вы обучаете и настраиваете свои модели. Если вы дополнительно автоматически настраиваете модель на основе отзывов пользователей (или другой информации, контролируемой конечным пользователем), вы должны учитывать, может ли злонамеренный субъект угрозы произвольно изменить модель на основе манипулирования их ответами и добиться отравления обучающих данных.
Взаимодействие с данными: мониторинг качества и использования данных.
Генеративные модели искусственного интеллекта, такие как LLM, обычно работают хорошо, поскольку они обучены на большом объеме данных. Хотя эти данные помогают специалистам LLM выполнять сложные задачи, они также могут подвергнуть вашу систему риску отравления обучающих данных, которое происходит, когда неподходящие данные включаются или опускаются в набор обучающих данных, что может изменить поведение модели. Чтобы снизить этот риск, вам следует изучить свою цепочку поставок и понять процесс проверки данных для вашей системы, прежде чем они будут использоваться в вашей модели. Хотя конвейер обучения является основным источником заражения данных, вам также следует посмотреть, как ваша модель получает данные, например, в модели RAG или озере данных, и является ли источник этих данных надежным и защищенным. Используйте сервисы безопасности AWS, такие как AWS Security Hub, Amazon GuardDuty и Amazon Inspector, чтобы постоянно отслеживать подозрительную активность в Amazon EC2, Amazon EKS, Amazon S3, Сервис реляционной базы данных Amazon (Amazon RDS) и доступ к сети, которые могут быть индикаторами возникающих угроз, а также использовать Detective для визуализации расследований безопасности. Также рассмотрите возможность использования таких сервисов, как Озеро безопасности Амазонки ускорить расследования безопасности за счет создания специального озера данных для автоматической централизации данных безопасности из сред AWS, поставщиков SaaS, локальных и облачных источников, которые способствуют вашим рабочим нагрузкам AI/ML.
Организационные взаимодействия: внедрение механизмов корпоративного управления для генеративного ИИ.
Определите риски, связанные с использованием генеративного ИИ для вашего бизнеса. Вам следует построить таксономию рисков вашей организации и провести оценку рисков, чтобы принимать обоснованные решения при развертывании генеративных решений искусственного интеллекта. Разрабатывать план непрерывности бизнеса (BCP) который включает в себя рабочие нагрузки искусственного интеллекта, машинного обучения и генеративного искусственного интеллекта и может быть быстро введен в действие для замены утраченной функциональности затронутого или автономного приложения LLM в соответствии с вашими соглашениями об уровне обслуживания.
Выявляйте пробелы в процессах и ресурсах, неэффективность и несоответствия, а также повышайте осведомленность и ответственность во всем вашем бизнесе. Модель угрозы все рабочие нагрузки генеративного ИИ для выявления и смягчения потенциальных угроз безопасности, которые могут привести к последствиям, влияющим на бизнес, включая несанкционированный доступ к данным, отказ в обслуживании и неправильное использование ресурсов. Воспользуйтесь преимуществами нового Инструмент моделирования AWS Threat Composer чтобы сократить время окупаемости при моделировании угроз. На более позднем этапе разработки рассмотрите возможность включения безопасность, хаос, инженерия эксперименты по внедрению ошибок для создания реальных условий, чтобы понять, как ваша система будет реагировать на неизвестные факторы, и укрепить уверенность в отказоустойчивости и безопасности системы.
Включите различные точки зрения при разработке стратегий безопасности и механизмов управления рисками, чтобы обеспечить соблюдение и охват AI/ML и генеративной безопасности для всех должностных ролей и функций. Применяйте подходы к безопасности с момента создания и исследования любого приложения генеративного ИИ, чтобы согласовать его с требованиями. Если вам нужна дополнительная помощь со стороны AWS, попросите своего менеджера по работе с клиентами AWS убедиться в равной поддержке, обратившись за помощью к архитекторам решений AWS из AWS Security и AI/ML.
Убедитесь, что ваша организация безопасности регулярно предпринимает действия для улучшения коммуникации как по вопросам осведомленности о рисках, так и понимания управления рисками среди заинтересованных сторон, заинтересованных в генеративном ИИ, таких как менеджеры по продуктам, разработчики программного обеспечения, специалисты по обработке данных и высшее руководство, позволяя получать рекомендации по анализу угроз и средствам контроля для групп, которые могут подвергнуться воздействию. Организации безопасности могут поддерживать культуру ответственного раскрытия информации и итеративного улучшения, участвуя в обсуждениях и предлагая заинтересованным сторонам, занимающимся генерирующим ИИ, новые идеи и информацию, которые связаны с их бизнес-целями. Узнать больше о наша приверженность ответственному ИИ и дополнительные ответственные ресурсы ИИ чтобы помочь нашим клиентам.
Получите преимущество в улучшении организационной позиции для генеративного ИИ, освободив время для окупаемости существующих процессов безопасности вашей организации. Заблаговременно оцените, где вашей организации могут потребоваться процессы, которые являются слишком обременительными с учетом контекста безопасности генеративного ИИ, и доработайте их, чтобы предоставить разработчикам и ученым четкий путь к запуску с правильными элементами управления.
Оцените, где могут быть возможности согласовать стимулы, снизить риски и обеспечить четкое представление о желаемых результатах. Обновление средств контроля и защиты для удовлетворения растущих потребностей разработки приложений ИИ/МО и генеративного ИИ, чтобы уменьшить путаницу и неопределенность, которые могут привести к затратам времени на разработку, увеличению риска и увеличению воздействия.
Обеспечьте, чтобы заинтересованные стороны, не являющиеся экспертами по безопасности, могли понимать, как организационное управление, политики и шаги по управлению рисками применяются к их рабочим нагрузкам, а также применять механизмы управления рисками. Подготовьте свою организацию к реагированию на реалистичные события и сценарии, которые могут возникнуть с приложениями генеративного ИИ, и убедитесь, что роли разработчиков генеративного ИИ и группы реагирования знают о путях эскалации и действиях в случае возникновения подозрений в отношении любой подозрительной активности.
Заключение
Для успешной коммерциализации инноваций с использованием любой новой и развивающейся технологии необходимо начинать с подхода, ориентированного на безопасность, опираться на основу безопасной инфраструктуры и думать о том, как в дальнейшем интегрировать безопасность на каждом уровне технологического стека на ранних этапах с глубокоэшелонированной защитой. подход. Это включает в себя взаимодействие на нескольких уровнях вашего технологического стека и точек интеграции в вашей цифровой цепочке поставок для обеспечения устойчивости организации. Хотя генеративный искусственный интеллект создает некоторые новые проблемы безопасности и конфиденциальности, если вы будете следовать передовым фундаментальным практикам безопасности, таким как использование многоуровневой защиты с помощью многоуровневых служб безопасности, вы сможете защитить свою организацию от многих распространенных проблем и развивающихся угроз. Вам следует внедрить многоуровневые сервисы AWS Security для своих генеративных рабочих нагрузок ИИ и в более крупной организации, а также сосредоточиться на точках интеграции в своих цифровых цепочках поставок, чтобы защитить свои облачные среды. Затем вы можете использовать расширенные возможности безопасности и конфиденциальности в сервисах AWS AI/ML, таких как Amazon SageMaker и Amazon Bedrock, чтобы добавить дополнительные уровни расширенного контроля безопасности и конфиденциальности в ваши генеративные приложения искусственного интеллекта. Внедрение безопасности с самого начала позволит быстрее, проще и экономичнее внедрять инновации с помощью генеративного искусственного интеллекта, одновременно упрощая соблюдение требований. Это поможет вам повысить контроль, уверенность и наблюдаемость ваших приложений генеративного ИИ для ваших сотрудников, клиентов, партнеров, регулирующих органов и других заинтересованных сторон.
Дополнительные ссылки
- Стандартные отраслевые структуры для управления рисками и безопасностью, специфичными для искусственного интеллекта и машинного обучения:
Об авторах
Кристофер Рэй — главный специалист по глобальной безопасности GTM, специализирующийся на разработке и реализации стратегических инициатив, которые ускоряют и масштабируют внедрение сервисов безопасности AWS. Он увлечен пересечением кибербезопасности и новых технологий и имеет более чем 20-летний опыт работы на глобальных стратегических руководящих должностях, предоставляя решения безопасности для клиентов средств массовой информации, развлечений и телекоммуникаций. Он заряжается чтением, путешествиями, едой и вином, открытием для себя новой музыки и консультированием стартапов на ранней стадии.
Элайджа Винтер — старший инженер по безопасности в Amazon Security, имеет степень бакалавра в области инженерии кибербезопасности и питает любовь к Гарри Поттеру. Элайджа преуспевает в выявлении и устранении уязвимостей в системах искусственного интеллекта, сочетая технические знания с оттенком волшебства. Элайджа разрабатывает индивидуальные протоколы безопасности для экосистем искусственного интеллекта, привнося волшебство в цифровую защиту. Будучи честным, Элайджа имеет опыт работы в сфере безопасности как в государственных, так и в коммерческих организациях, занимающихся защитой доверия.
Рам Виттал — главный архитектор решений машинного обучения в AWS. Он имеет более чем трехлетний опыт проектирования и создания распределенных, гибридных и облачных приложений. Он увлечен созданием безопасных и масштабируемых решений AI/ML и больших данных, которые помогут корпоративным клиентам в их внедрении и оптимизации облака для улучшения результатов их бизнеса. В свободное время он катается на мотоцикле и гуляет со своим трехлетним овчаркой!
Navneet Тутеха является специалистом по данным в Amazon Web Services. До прихода в AWS Навнит работала посредником в организациях, стремящихся модернизировать свои архитектуры данных и внедрить комплексные решения AI/ML. Она имеет степень инженера Университета Тапар, а также степень магистра статистики Техасского университета A&M.
Эмили Совард является специалистом по данным в AWS Professional Services. Она имеет степень магистра наук с отличием в области искусственного интеллекта Эдинбургского университета в Шотландии, Великобритания, с упором на обработку естественного языка (NLP). Эмили работала на прикладных научных и инженерных должностях, занимаясь исследованиями и разработками продуктов с поддержкой ИИ, операционным совершенством и управлением рабочими нагрузками ИИ, выполняемыми в организациях государственного и частного секторов. Она участвует в консультировании клиентов в качестве старшего спикера AWS, а недавно — в качестве автора книги AWS Well-Architected in the Machine Learning Lens.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/architect-defense-in-depth-security-for-generative-ai-applications-using-the-owasp-top-10-for-llms/
- :имеет
- :является
- :нет
- :куда
- $UP
- 1
- 10
- 100
- 125
- 150
- 30
- 300
- a
- способность
- в состоянии
- О нас
- академический
- ускорять
- приемлемый
- доступ
- Доступ к данным
- доступа
- соответственно
- Учетная запись
- Учетные записи
- точность
- Достигать
- достижение
- через
- Действие
- действия
- активно
- деятельность
- адаптация
- Добавить
- добавленный
- дополнение
- дополнительный
- адрес
- адресация
- соблюдение
- регулировать
- принять
- Принятие
- Принятие
- продвинутый
- авансы
- плюс
- консультирование
- После
- против
- агентство
- Агент
- AI
- AI модели
- Системы искусственного интеллекта
- AI / ML
- выравнивать
- выровненный
- Выравнивает
- Все
- позволять
- разрешено
- Позволяющий
- в одиночестве
- причислены
- Несмотря на то, что
- Amazon
- Amazon EC2
- Амазон РДС
- Создатель мудреца Амазонки
- Amazon Web Services
- среди
- количество
- an
- анализировать
- анализ
- и
- и инфраструктура
- Anonymous
- Другой
- ответ
- любой
- API
- аппетит
- отношение
- Применение
- Разработка приложения
- безопасность приложения
- Приложения
- прикладной
- применяется
- Применить
- Применение
- подхода
- подходы
- соответствующий
- Архитекторы
- архитектурный
- архитектура
- МЫ
- области
- спорить
- возникать
- около
- искусственный
- искусственный интеллект
- Искусственный интеллект (AI)
- AS
- спросить
- Оценка
- оценки
- Активы
- Помощь
- помощники
- связанный
- гарантия
- At
- Атлант
- атаковать
- нападки
- попытки
- внимание
- Атрибуты
- аудит
- дополненная
- Аутентификация
- автор
- разрешение
- уполномоченный
- автоматизировать
- автоматически
- доступен
- знать
- осведомленность
- AWS
- Клиент AWS
- Профессиональные услуги AWS
- назад
- со спинкой
- фон
- основанный
- основной
- основа
- BE
- , так как:
- становится
- было
- до
- начинать
- поведение
- не являетесь
- верить
- польза
- Преимущества
- ЛУЧШЕЕ
- лучшие практики
- Лучшая
- между
- смещение
- большой
- Big Data
- Билл
- смешивание
- Блог
- изоферменты печени
- Границы
- приносить
- Приведение
- строить
- строитель
- Строители
- Строительство
- строит
- построенный
- встроенный
- бизнес
- бизнес
- by
- байпас
- Каденция
- CAN
- Может получить
- возможности
- Пропускная способность
- случаев
- Категории
- Вызывать
- Причины
- централизовать
- определенный
- сертификат
- Сертификация
- цепь
- цепи
- проблемы
- изменение
- Chaos
- Chatbot
- Проверки
- главный
- Очистить
- облако
- принятие облака
- Облачные приложения
- облачных вычислений
- облачная инфраструктура
- Cloud Security
- код
- сочетание
- как
- выходит
- коммерческая
- коммерциализировать
- обязательство
- привержен
- Общий
- обычно
- Связь
- спутник
- компаньоны
- Компания
- полный
- комплекс
- Соответствие закону
- компонент
- Композитор
- постигать
- комплексный
- скомпрометированы
- Ослабленный
- компромат
- Вычисление
- вычисление
- Беспокойство
- обеспокоенный
- Обеспокоенность
- Условия
- Проводить
- доверие
- настроить
- замешательство
- связь
- Свяжитесь
- Последствия
- Рассматривать
- считается
- принимая во внимание
- последовательный
- состоит
- содержать
- Контейнеры
- содержание
- модерация контента
- контекст
- непрерывность
- непрерывно
- способствовать
- способствует
- контроль
- управление
- контрольная
- наоборот
- Основные
- краеугольный камень
- исправить
- соответствующий
- Цена
- рентабельным
- может
- охват
- Создайте
- Создающий
- критической
- Культура
- курирует
- клиент
- Клиенты
- настроить
- подгонянный
- кибер-
- информационная безопасность
- Информационная безопасность
- циклы
- данным
- Озеро данных
- Подготовка данных
- Качество данных
- ученый данных
- фальсификация данных
- База данных
- Наборы данных
- день
- десятилетия
- Принятие решений
- лица, принимающие решения
- решения
- глубоко
- более глубокий
- Защита
- оборонительный
- определять
- определенный
- определяющий
- Степень
- доставки
- копаться
- убивают
- Отказ в обслуживании
- в зависимости
- развертывание
- развернуть
- развертывание
- развертывание
- глубина
- описывать
- Проект
- конструкций
- желанный
- обнаруживать
- развивать
- развитый
- застройщиков
- развивающийся
- Развитие
- отклоняться
- отклонение
- различный
- Интернет
- дисциплин
- раскрытие
- обнаружение
- открытие
- обсуждать
- обсуждающий
- обсуждение
- нарушения
- отчетливый
- различие
- распределенный
- погружение
- Разное
- различные точки зрения
- не
- домен
- Dont
- рисует
- управляемый
- в течение
- каждый
- Ранее
- Рано
- ранняя стадия
- легче
- легко
- Экономические
- экономическая ценность
- Экосистемы
- Эдинбург
- Эффективный
- эффективный
- или
- вложения
- появляться
- появление
- новые технологии
- Новые технологии
- акцент
- сотрудников
- расширение прав и возможностей
- включить
- позволяет
- позволяет
- призывает
- зашифрованный
- конец
- обеспечивать соблюдение
- обеспечение соблюдения
- инженер
- Проект и
- Инженеры
- расширение
- обеспечивать
- Предприятие
- корпоративные клиенты
- Развлечения
- Весь
- Окружающая среда
- средах
- равный
- ошибка
- эскалация
- существенный
- установить
- налаживание
- Эфир (ETH)
- оценивать
- оценки
- оценка
- Даже
- События
- События
- Каждая
- развивается
- развивается
- исследовать
- пример
- Примеры
- Превосходство
- чрезмерный
- проведение
- исполнительный
- Упражнение
- эксфильтрации
- существовать
- существующий
- расширяющийся
- ожидаемый
- опыт
- Эксперименты
- опыта
- эксперты
- Экспозиция
- продлить
- расширенная
- простирающийся
- продолжается
- и, что лучший способ
- дополнительно
- извлечение
- извлечь данные
- чрезвычайно
- лица
- облегчает
- посредник
- не удается
- Осень
- фамильярность
- БЫСТРО
- быстрее
- Особенность
- Особенности
- Обратная связь
- меньше
- фильтр
- фильтрация
- финансовый
- финансовые услуги
- Найдите
- обнаружение
- результаты
- брандмауэр
- Во-первых,
- 5
- чутье
- гибкого
- поток
- Потоки
- Фокус
- внимание
- следовать
- после
- питание
- Что касается
- судебный
- Способствовать
- культивирует
- Год основания
- основополагающие
- Рамки
- каркасы
- часто
- от
- передний
- функциональность
- Функции
- фундаментальный
- далее
- Gain
- пробелы
- Общие
- в общем
- поколение
- генеративный
- Генеративный ИИ
- получить
- получающий
- данный
- Глобальный
- цель
- Цели
- будет
- регламентировать
- управление
- Правительство
- правительственный
- предоставленный
- Растет
- руководство
- инструкция
- управляемый
- Гиды
- было
- обрабатывать
- Управляемость
- Есть
- he
- здравоохранение
- помощь
- помощь
- помогает
- высокая производительность
- очень
- его
- проведение
- имеет
- Как
- How To
- HTML
- HTTP
- HTTPS
- хаб
- человек
- Гибридный
- i
- идея
- идеи
- идентифицированный
- определения
- идентифицирующий
- Личность
- if
- неизменность
- неизменный
- Влияние
- влияние
- Воздействие
- императив
- осуществлять
- реализация
- в XNUMX году
- Осуществляющий
- улучшать
- улучшение
- in
- Стимулы
- начало
- инцидентов
- включают
- включены
- включает в себя
- В том числе
- несоответствия
- Увеличение
- расширились
- повышение
- индикаторы
- промышленность
- неэффективность
- информация
- информационная безопасность
- сообщил
- Инфраструктура
- перелитый
- свойственный
- инициативы
- обновлять
- инновации
- Инновации
- вход
- затраты
- небезопасный
- внутри
- понимание
- размышления
- случаев
- интегрировать
- интегрированный
- Интегрируется
- интеграции.
- интеграций
- целостность
- Интеллекта
- взаимодействие
- интерес
- Интерфейс
- Мультиязычность
- пересечение
- в
- вводить
- Представляет
- введение
- ходе расследования,
- Исследования
- включает в себя
- вопросы
- IT
- ЕГО
- саму трезвость
- работа
- присоединение
- путешествие
- JPG
- всего
- Сохранить
- Основные
- Ключевые области
- Королевство
- знания
- Kubernetes
- озеро
- язык
- большой
- больше
- наконец
- новее
- запуск
- слой
- слоистый
- слоев
- вести
- Лидеры
- Наша команда
- ведущий
- УЧИТЬСЯ
- изучение
- наименее
- объектив
- линзы
- уровень
- Жизненный цикл
- такое как
- вероятность
- линия
- линий
- каротаж
- логика
- посмотреть
- искать
- потерянный
- любят
- машина
- обучение с помощью машины
- сделать
- злонамеренный
- вредоносных программ
- управлять
- управляемого
- управление
- менеджер
- Менеджеры
- управления
- манипуляционная
- Манипуляция
- способ
- многих
- карта
- мастер
- магистра
- материалы
- Вопросы
- зрелость
- максимизации
- Май..
- означает
- проводить измерение
- механизм
- механизмы
- Медиа
- Встречайте
- Соответствует
- психический
- упомянутый
- встретивший
- Метрика
- может быть
- мигрировать
- миллионы
- против
- Мышление
- злоупотреблять
- смягчать
- смягчение
- ML
- модель
- моделирование
- Модели
- умеренность
- модернизировать
- монитор
- Мониторинг
- БОЛЕЕ
- самых
- мотоцикл
- двигаться
- много
- с разными
- Музыка
- должен
- my
- натуральный
- Естественный язык
- Обработка естественного языка
- природа
- необходимо
- Необходимость
- необходимый
- потребности
- сеть
- Доступ к сети
- Новые
- следующий
- NIST
- НЛП
- объект
- цель
- целей
- происходить
- of
- от
- предлагающий
- Предложения
- офицеров
- оффлайн
- on
- ONE
- открытый
- с открытым исходным кодом
- работать
- оперативный
- Операционный отдел
- Возможности
- оптимизация
- оптимизированный
- or
- заказ
- организация
- организационной
- организации
- Origin
- первоначально
- происхождения
- Другое
- наши
- внешний
- Результат
- Результаты
- выходной
- выходы
- внешнюю
- за
- общий
- чрезмерно
- собственность
- пакет
- часть
- участвующий
- Стороны
- партнеры
- части
- страстный
- путь
- пути
- паттеранами
- производительность
- выполнены
- выполнения
- Разрешения
- перспективы
- фаз
- столбы
- трубопровод
- Часть
- план
- планирование
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- плагин
- плагины
- пунктов
- яд
- сборах
- политика
- позиционирование
- После
- потенциал
- потенциально
- практика
- практиками
- подготовка
- Подготовить
- предотвращать
- предыдущий
- Простое число
- Основной
- Принципы
- Предварительный
- приоритезация
- приоритет
- политикой конфиденциальности.
- частная
- частный сектор
- привилегия
- привилегии
- процесс
- Процессы
- обработка
- Продукт
- Производство
- производительность
- профессиональный
- Профиль
- FitPartner™
- Программы
- Проект
- наводящие
- правильный
- должным образом
- для защиты
- защищенный
- защищающий
- защиту
- протоколы
- обеспечивать
- поставщики
- приводит
- обеспечение
- что такое варган?
- положил
- Запросы
- вопрос
- САЙТ
- быстро
- тряпка
- достигать
- реагировать
- Читать
- Готовность
- Reading
- реальный мир
- реалистичный
- реализация
- реализовать
- получение
- недавно
- рекомендовать
- рекомендаций
- Recover
- выздоровление
- уменьшить
- ссылка
- совершенствовать
- область
- регулярный
- регулярно
- регулируемых брокеров
- Регулирующие органы
- Связанный
- соответствующие
- складская
- полагаться
- рекультивация
- удаленные
- повторять
- замещать
- запросить
- запрашивающий
- требовать
- требование
- Требования
- требуется
- исследованиям
- исследование и разработка
- упругость
- ресурс
- Полезные ресурсы
- уважаемый
- те
- Реагируйте
- ответ
- ответы
- ответственность
- ответственный
- ОТДЫХ
- ограничивать
- переквалификация
- поиск
- обзоре
- отзывы
- обзор
- Отзывы
- аттракционы
- правую
- Снижение
- склонность к риску
- управление рисками
- Снижение рисков
- рисках,
- надежный
- Rodgers
- роли
- корень
- обычно
- условиями,
- Бег
- s
- SaaS
- sagemaker
- то же
- масштабируемые
- Шкала
- сканирование
- сценарий
- Сценарии
- Наука
- научный
- Ученый
- Ученые
- сфера
- Обзорный
- Шотландия
- Поиск
- Раздел
- сектор
- безопасный
- обеспеченный
- обеспечение
- безопасность
- преимущества безопасности
- события безопасности
- риски безопасности
- Угрозы безопасности
- средства безопасности
- Искать
- поиск
- стремится
- выберите
- выбранный
- старший
- чувствительный
- служил
- обслуживание
- Услуги
- набор
- установка
- общие
- она
- должен
- показывать
- достопримечательность
- аналогичный
- просто
- упростить
- упрощение
- So
- общение
- Software
- счет за программное обеспечение
- Разработчики программного обеспечения
- разработка программного обеспечения
- Решение
- Решения
- некоторые
- Источник
- Источники
- суверенитет
- Space
- Динамик
- специалист
- конкретный
- конкретно
- скорость
- стек
- этапы
- заинтересованных сторон
- стандарт
- стандартов
- Начало
- и политические лидеры
- Начало
- Стартапы
- статистика
- Шаги
- По-прежнему
- диск
- хранить
- магазины
- Стратегический
- стратегий
- Стратег
- Стратегия
- строгий
- сильно
- по существу
- успех
- Успешно
- такие
- поставка
- цепочками поставок
- Каналы поставок
- поддержка
- поддержки
- Убедитесь
- восприимчивый
- подозрительный
- синтетический
- система
- системы
- ТАБЛИЦЫ
- с учетом
- взять
- принимает
- Тандем
- задачи
- систематики
- команда
- команды
- Технический
- снижения вреда
- технологии
- технологов
- Технологии
- телеком
- тестXNUMX
- Тестирование
- тестов
- Техас
- текст
- который
- Ассоциация
- Источник
- кража
- их
- Их
- темы
- сами
- тогда
- Там.
- Эти
- они
- мышление
- В третьих
- третье лицо
- этой
- те
- угроза
- разведка угроз
- угрозы
- три
- Через
- по всему
- время
- своевременно
- TLS
- в
- вместе
- инструментом
- инструменты
- топ
- Топ-10
- трогать
- к
- Торговля
- традиционный
- трафик
- Train
- специалистов
- Обучение
- сделка
- транзит
- Прозрачность
- перевозки
- Путешествие
- Доверие
- надежных
- типично
- неразрешенный
- Неопределенность
- под
- подрывать
- понимать
- понимание
- незнакомый
- Объединенный
- Великобритания
- Университет
- несмягченный
- Обновление ПО
- обновление
- поддерживать
- Провел на сайте
- использование
- прецедент
- используемый
- Информация о пользователе
- пользователей
- использования
- через
- использовать
- использовать
- Использующий
- VALIDATE
- проверки
- Проверка
- ценностное
- сведущий
- с помощью
- Виртуальный
- фактически
- визуализации
- vs
- Уязвимости
- уязвимость
- прогулки
- хотеть
- варранты
- законопроект
- способы
- we
- Web
- веб приложение
- веб-приложений
- веб-сервисы
- ЧТО Ж
- Что
- когда
- будь то
- который
- в то время как
- КТО
- все
- будете
- ВИНО
- Победы
- в
- без
- Работа
- работавший
- рабочий
- Рабочие процессы
- работает
- по всему миру
- бы
- писал
- XSS
- лет
- являетесь
- ВАШЕ
- зефирнет