Это гостевой пост в блоге, написанный в соавторстве с Заком Россманом из Alcion.
Alcion, ориентированная на безопасность платформа резервного копирования как услуги (BaaS) на основе искусственного интеллекта, помогает администраторам Microsoft 365 быстро и интуитивно защищать данные от киберугроз и случайной потери данных. В случае потери данных клиентам Alcion необходимо выполнить поиск метаданных резервных копий элементов (файлов, электронных писем, контактов, событий и т. д.), чтобы выбрать определенные версии элементов для восстановления. Альцион использует Сервис Amazon OpenSearch предоставить своим клиентам точные, эффективные и надежные возможности поиска по этому каталогу резервных копий. Платформа является многопользовательской, а это означает, что Alcion требует изоляции данных и надежной защиты, чтобы гарантировать, что арендаторы могут искать только свои собственные данные.
OpenSearch Service — это полностью управляемый сервис, который упрощает развертывание, масштабирование и эксплуатацию OpenSearch в облаке AWS. OpenSearch – это пакет поиска и аналитики с открытым исходным кодом под лицензией Apache-2.0, включающий OpenSearch (поиск, аналитическая система и база данных векторов), OpenSearch Dashboards (визуализация и служебный пользовательский интерфейс) и подключаемые модули, которые обеспечивают расширенные возможности, такие как безопасность корпоративного уровня, обнаружение аномалий, наблюдаемость, оповещение и многое другое. Amazon OpenSearch без сервера — вариант безсерверного развертывания, упрощающий использование OpenSearch без настройки, управления и масштабирования доменов службы OpenSearch.
В этом посте мы рассказываем о том, как внедрение OpenSearch Serverless позволило Alcion удовлетворить свои требования к масштабированию, снизить операционные издержки и защитить данные своих арендаторов за счет принудительного изоляция арендатора в своей многопользовательской среде.
домены, управляемые службой OpenSearch
Для первой итерации своей поисковой архитектуры компания Alcion выбрала вариант развертывания управляемых доменов в OpenSearch Service и смогла запустить свою функцию поиска в рабочей среде менее чем за месяц. Чтобы соответствовать требованиям безопасности, масштабируемости и аренды, они хранили данные для каждого арендатора в специальном индексе и использовали детальный контроль доступа в службе OpenSearch, чтобы предотвратить утечку данных между арендаторами. По мере роста рабочей нагрузки инженеры Alcion отслеживали использование домена OpenSearch с помощью предоставленного Amazon CloudWatch метрики, внося изменения для увеличения объема хранилища и оптимизации вычислительных ресурсов.
Команда Alcion использовала несколько функций управляемых доменов OpenSearch Service, чтобы улучшить свою операционную позицию. Они представили псевдонимы индексов, которые предоставляют одно псевдонимное имя для доступа (чтения и записи) к нескольким базовым индексам. Они также настроили Управление состоянием индекса (ISM), чтобы помочь им контролировать жизненный цикл данных путем сворачивания индексов в зависимости от размера индекса. В совокупности политики ISM и псевдонимы индексов были необходимы для масштабирования индексов для крупных арендаторов. Альцион также использовал шаблоны индексов определить осколки для каждого индекса (разделения) своих данных, чтобы автоматизировать жизненный цикл данных и повысить производительность и стабильность своих доменов.
На следующей диаграмме архитектуры показано, как Alcion настроил свои управляемые домены OpenSearch.
На следующей схеме показано, как данные Microsoft 365 индексировались и запрашивались из индексов, специфичных для клиента. Alcion реализовала аутентификацию запроса, предоставляя учетные данные основного пользователя OpenSearch с каждым запросом API.
Обзор OpenSearch Serverless и варианты модели аренды
Управляемые домены OpenSearch Service обеспечили стабильную основу для поисковых функций Alcion, но команде необходимо было вручную выделять ресурсы для доменов в период их пиковой рабочей нагрузки. Это оставило возможность для оптимизации затрат, поскольку рабочая нагрузка Alcion является скачкообразной — количество транзакций поиска и индексирования в секунду сильно различается как для отдельного клиента, так и в целом. Чтобы снизить затраты и операционную нагрузку, команда обратилась к OpenSearch Serverless, который предлагает возможность автоматического масштабирования.
Чтобы использовать OpenSearch Serverless, первым делом необходимо создать коллекцию. А лыжных шлемов — это группа индексов OpenSearch, которые работают вместе для поддержки определенной рабочей нагрузки или варианта использования. Вычислительные ресурсы для коллекции, называемые вычислительными единицами OpenSearch (OCU), являются общими для всех коллекций в учетной записи, которые используют общий ключ шифрования. Пул OCU автоматически увеличивается и уменьшается в соответствии с требованиями индексации и поискового трафика.
Уровень усилий, необходимых для миграции с домена, управляемого службой OpenSearch, на домен OpenSearch Serverless, можно было контролировать благодаря тому факту, что коллекции OpenSearch Serverless поддерживают те же API и библиотеки OpenSearch, что и домены, управляемые службой OpenSearch. Это позволило Alcion сосредоточиться на оптимизации модели аренды для новой архитектуры поиска. В частности, команде нужно было решить, как разделить данные арендатора в коллекциях и индексах, соблюдая баланс между безопасностью и общей стоимостью владения. Инженеры Alcion в сотрудничестве с командой OpenSearch Serverless рассмотрены три модели аренды:
- Модель разрозненных хранилищ: создание коллекции для каждого арендатора
- Модель пула: создайте одну коллекцию и используйте один индекс для нескольких клиентов.
- Модель моста: создайте одну коллекцию и используйте один индекс для каждого арендатора.
Все три варианта дизайна имели свои преимущества и недостатки, которые необходимо было учитывать при разработке окончательного решения.
Модель разрозненных хранилищ: создание коллекции для каждого арендатора
В этой модели Alcion будет создавать новую коллекцию всякий раз, когда новый клиент подключается к их платформе. Хотя данные арендаторов будут четко разделены между коллекциями, этот вариант был исключен, поскольку время создания коллекции означало, что клиенты не смогут выполнять резервное копирование и поиск данных сразу после регистрации.
Модель пула: создайте одну коллекцию и используйте один индекс для нескольких клиентов.
В этой модели Alcion создаст одну коллекцию для каждой учетной записи AWS и проиндексирует данные, относящиеся к арендатору, в один из многих общих индексов, принадлежащих этой коллекции. Первоначально объединение данных арендаторов в общие индексы было привлекательным с точки зрения масштабирования, поскольку это приводило к наиболее эффективному использованию ресурсов индекса. Но после дальнейшего анализа компания Alcion обнаружила, что они вполне укладываются в квоту индексов для каждой коллекции, даже если они выделяют один индекс для каждого арендатора. Когда проблема масштабируемости была решена, Alcion выбрала третий вариант, потому что размещение данных арендаторов в выделенных индексах приводит к более сильной изоляции арендаторов, чем модель общего индекса.
Модель моста: создайте одну коллекцию и используйте один индекс для каждого арендатора.
В этой модели Alcion создаст одну коллекцию для каждой учетной записи AWS и создаст индекс для каждого из сотен арендаторов, управляемых этой учетной записью. Назначив каждому арендатору выделенный индекс и объединив эти индексы в единую коллекцию, Alcion сократил время адаптации новых арендаторов и разложил данные арендаторов по четко разделенным корзинам.
Внедрение управления доступом на основе ролей для поддержки мультиарендности
OpenSearch Serverless предлагает многоточечный наследуемый набор элементов управления безопасностью, охватывающий доступ к данным, доступ к сети и шифрование. Alcion в полной мере воспользовался преимуществами OpenSearch Serverless политики доступа к данным для реализации управления доступом на основе ролей (RBAC) для каждого индекса, специфичного для арендатора, со следующими сведениями:
- Выделите индекс с общим префиксом и идентификатором арендатора (например,
index-v1-<tenantID>
) - Создайте выделенный Управление идентификацией и доступом AWS (IAM), которая используется для подписи запросов к коллекции OpenSearch Serverless.
- Создайте политику доступа к данным OpenSearch Serverless, которая предоставляет разрешения на чтение и запись документов в рамках выделенного индекса арендатора роли IAM для этого арендатора.
- Запросы API OpenSearch к индексу арендатора подписываются временными учетными данными, принадлежащими роли IAM для конкретного арендатора.
Ниже приведен пример политики доступа к данным OpenSearch Serverless для фиктивного клиента с идентификатором. t-eca0acc1-12345678910
. Эта политика предоставляет документу роли IAM доступ для чтения и записи к выделенному доступу арендатора.
На следующей диаграмме архитектуры показано, как в Alcion реализовано индексирование и поиск ресурсов Microsoft 365 с использованием подхода к общей коллекции OpenSearch Serverless.
Ниже приведен пример фрагмента кода для отправки запроса API в коллекцию OpenSearch Serverless. Обратите внимание, как клиент API инициализируется с помощью объекта подписывающего, который подписывает запросы с тем же субъектом IAM, который связан с политикой доступа к данным OpenSearch Serverless из предыдущего фрагмента кода.
Заключение
В мае 2023 года Alcion развернула свою архитектуру поиска, основанную на общей коллекции и модели выделенного индекса для каждого арендатора во всех производственных и предварительных средах. Команде удалось удалить сложный код и операционные процессы, предназначенные для масштабирования доменов, управляемых OpenSearch Service. Кроме того, благодаря возможностям автоматического масштабирования OpenSearch Serverless компания Alcion сократила свои расходы на OpenSearch на 30 % и ожидает благоприятного масштабирования профиля затрат.
На пути от управляемой к бессерверной службе OpenSearch компания Alcion извлекла выгоду из первоначального выбора доменов, управляемых службой OpenSearch. При переходе вперед они смогли повторно использовать те же API и библиотеки OpenSearch для своих бессерверных коллекций OpenSearch, которые они использовали для своего домена, управляемого службой OpenSearch. Кроме того, они обновили свою модель аренды, чтобы воспользоваться преимуществами политик доступа к данным OpenSearch Serverless. Благодаря OpenSearch Serverless они смогли легко адаптироваться к масштабным потребностям своих клиентов, обеспечив при этом изоляцию арендаторов.
Для получения дополнительной информации об Alcion посетите их веб-сайт.
Об авторах
Зак Россман — член технического персонала Alcion. Он является техническим руководителем платформ поиска и искусственного интеллекта. До прихода в Alcion Зак был старшим инженером-программистом в Okta, разрабатывая основные продукты для управления идентификацией сотрудников и доступом для группы каталогов.
Нирадж Джетли — менеджер по разработке программного обеспечения для Amazon OpenSearch Serverless. Нирадж возглавляет несколько групп плоскости данных, ответственных за запуск Amazon OpenSearch Serverless. До прихода в AWS Нирадж более 15 лет руководил несколькими продуктовыми и инженерными группами в качестве технического директора, вице-президента по проектированию и руководителя отдела управления продуктами. Нирадж получил более 15 наград за инновации, в том числе был назван ИТ-директором года в 2014 году и 100 лучших ИТ-директоров в 2013 и 2016 годах. Он часто выступает на нескольких конференциях, его цитируют в NPR, WSJ и The Boston Globe.
Джон Хэндлер является старшим главным архитектором решений в Amazon Web Services в Пало-Альто, Калифорния. Джон тесно сотрудничает с OpenSearch и Amazon OpenSearch Service, предоставляя помощь и рекомендации широкому кругу клиентов, у которых есть рабочие нагрузки по поиску и аналитике журналов, которые они хотят перенести в облако AWS. До прихода в AWS карьера Джона в качестве разработчика программного обеспечения включала в себя 4 года кодирования крупномасштабной поисковой системы для электронной коммерции. Джон имеет степень бакалавра гуманитарных наук Пенсильванского университета, а также степень магистра и доктора наук в области компьютерных наук и искусственного интеллекта Северо-Западного университета.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Автомобили / электромобили, Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- Смещения блоков. Модернизация права собственности на экологические компенсации. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :имеет
- :является
- $UP
- 10
- 100
- 15 лет
- 15%
- 16
- 2013
- 2014
- 2016
- 2023
- a
- в состоянии
- О нас
- доступ
- управление доступом
- Учетная запись
- точный
- через
- приспосабливать
- Дополнительно
- адреса
- администраторы
- Принятие
- продвинутый
- плюс
- После
- AI
- Все
- выделено
- позволять
- разрешено
- причислены
- Несмотря на то, что
- Amazon
- Amazon Web Services
- an
- анализ
- аналитика
- и
- обнаружение аномалии
- API
- API
- подхода
- архитектура
- МЫ
- искусственный
- искусственный интеллект
- Искусство
- AS
- At
- привлекательный
- Аутентификация
- автоматический
- автоматизировать
- автоматически
- AWS
- BAAS
- назад
- Восстановление
- Балансировка
- основанный
- BE
- , так как:
- было
- не являетесь
- Преимущества
- между
- Блог
- тело
- Бостон
- изоферменты печени
- широкий
- бремя
- но
- by
- CA
- под названием
- CAN
- возможности
- возможности
- Карьера
- случаев
- каталог
- изменения
- выбор
- выбор
- выбрал
- CIO
- клиент
- тесно
- облако
- код
- Кодирование
- сотрудничество
- лыжных шлемов
- Коллекции
- Общий
- комплекс
- содержащий
- Вычисление
- компьютер
- Информатика
- Беспокойство
- конференции
- настроить
- считается
- контакты
- контекст
- контроль
- контрольная
- Основные
- Цена
- Расходы
- покрытие
- Создайте
- Создающий
- создание
- Полномочия
- CTO
- клиент
- Клиенты
- кибер-
- щитки
- данным
- доступ к данным
- Потеря данных
- База данных
- решать
- преданный
- По умолчанию
- запросы
- развертывание
- развертывание
- описание
- Проект
- проектирование
- подробнее
- обнаружение
- Застройщик
- развивающийся
- Развитие
- каталоги
- документ
- Документация
- домен
- доменов
- вниз
- каждый
- легко
- электронной коммерции
- эффективный
- усилие
- Писем
- включен
- шифрование
- обеспечение соблюдения
- Двигатель
- инженер
- Проект и
- Инженеры
- обеспечивать
- обеспечение
- корпоративного класса
- Окружающая среда
- средах
- ошибка
- ошибки
- Эфир (ETH)
- Даже
- События
- События
- эволюционировали
- пример
- надеется
- факт
- Особенности
- Файлы
- окончательный
- Во-первых,
- Фокус
- после
- Что касается
- вперед
- найденный
- Год основания
- частое
- от
- полный
- полностью
- функциональность
- далее
- Более того
- получающий
- GitHub
- земной шар
- гранты
- группы
- GUEST
- Гостевой блог
- руководство
- было
- Есть
- he
- помощь
- помогает
- имеет
- Как
- How To
- HTML
- HTTP
- HTTPS
- Сотни
- IAM
- ID
- Личность
- управление идентификацией и доступом
- if
- немедленно
- осуществлять
- в XNUMX году
- Импортировать
- улучшать
- in
- включены
- В том числе
- Увеличение
- индекс
- индексированный
- Индексы
- информация
- начальный
- первоначально
- Инновации
- награды за инновации
- Интеллекта
- Интерфейс
- в
- выпустили
- изоляция
- IT
- пункты
- итерация
- ЕГО
- присоединение
- джон
- путешествие
- JPG
- JSON
- Основные
- большой
- крупномасштабный
- запуск
- запуск
- вести
- Лиды
- Утечки
- привело
- оставил
- Меньше
- уровень
- библиотеки
- Жизненный цикл
- такое как
- связанный
- погрузка
- журнал
- от
- ДЕЛАЕТ
- Создание
- управляемого
- управление
- менеджер
- управления
- вручную
- многих
- мастер
- Совпадение
- Май..
- означает
- означает,
- Встречайте
- член
- Метаданные
- Метрика
- Microsoft
- Microsoft 365
- мигрировать
- мигрирующий
- модель
- Месяц
- БОЛЕЕ
- самых
- двигаться
- много
- с разными
- имя
- Названный
- необходимо
- Необходимость
- необходимый
- потребности
- сеть
- Доступ к сети
- Новые
- Северо-Западного университета
- Уведомление..
- номер
- объект
- of
- Предложения
- ОКТА
- on
- Вводный
- ONE
- только
- с открытым исходным кодом
- работать
- оперативный
- Оптимизировать
- оптимизирующий
- Опция
- or
- Oss
- внешний
- за
- обзор
- собственный
- собственность
- страница
- Пало-Альто
- Вершина горы
- Пенсильвания
- для
- производительность
- разрешение
- Разрешения
- перспектива
- Платформа
- Платформы
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- плагины
- сборах
- политика
- бассейн
- После
- предотвращать
- предыдущий
- первичный
- Основной
- Предварительный
- Процессы
- Продукт
- Управление продуктом
- Производство
- Продукция
- Профиль
- для защиты
- обеспечивать
- при условии
- Недвижимости
- обеспечение
- обеспечение
- быстро
- ассортимент
- Читать
- читатель
- уменьшить
- Цена снижена
- Регистрация
- складская
- запросить
- Запросы
- обязательный
- Требования
- требуется
- решен
- ресурс
- Полезные ресурсы
- ответ
- ответственный
- восстановление
- Итоги
- возвращают
- снова использовать
- Роли
- Прокат
- Подвижной
- Комната
- условиями,
- то же
- Масштабируемость
- Шкала
- масштабирование
- Наука
- сфера
- Поиск
- Поисковая система
- поиск
- Во-вторых
- безопасный
- безопасность
- отправка
- старший
- Serverless
- обслуживание
- Услуги
- набор
- несколько
- Поделиться
- общие
- Шоу
- подпись
- подписанный
- Признаки
- просто
- одинарной
- Размер
- отрывок
- So
- Software
- разработка программного обеспечения
- Инженер-программист
- Решение
- Решения
- Динамик
- конкретный
- конкретно
- Стабильность
- стабильный
- Персонал
- Область
- Шаг
- диск
- хранить
- строка
- сильный
- сильнее
- suite
- поддержка
- поддержки
- Поддержка
- взять
- приняты
- команда
- команды
- технологии
- Технический
- временный
- арендатор
- чем
- благодаря
- который
- Ассоциация
- их
- Их
- Эти
- они
- В третьих
- этой
- угрозы
- три
- время
- в
- вместе
- приняли
- топ
- Всего
- трафик
- Сделки
- транзакций в секунду
- Оказалось
- лежащий в основе
- единиц
- Университет
- Университет Пенсильвании
- обновление
- использование
- прецедент
- используемый
- Информация о пользователе
- Пользовательский интерфейс
- использования
- через
- утилита
- Наши ценности
- с помощью
- Войти
- визуализация
- vp
- хотеть
- законопроект
- we
- Web
- веб-сервисы
- ЧТО Ж
- были
- когда бы ни
- который
- в то время как
- КТО
- все
- в
- без
- Работа
- работать вместе
- Трудовые ресурсы
- работает
- бы
- записывать
- WSJ
- год
- лет
- зефирнет