To jest gościnny wpis na blogu napisany wspólnie z Zackiem Rossmanem z Alcion.
Alcion, oparta na sztucznej inteligencji platforma tworzenia kopii zapasowych jako usługi (BaaS), która stawia na pierwszym miejscu w zakresie bezpieczeństwa, pomaga administratorom platformy Microsoft 365 szybko i intuicyjnie chronić dane przed cyberzagrożeniami i przypadkową utratą danych. W przypadku utraty danych klienci firmy Alcion muszą przeszukiwać metadane elementów objętych kopią zapasową (plików, wiadomości e-mail, kontaktów, wydarzeń itd.), aby wybrać określone wersje elementów do przywrócenia. Alcion używa Usługa Amazon OpenSearch aby zapewnić swoim klientom dokładne, wydajne i niezawodne możliwości wyszukiwania w tym katalogu kopii zapasowych. Platforma jest multi-tenant, co oznacza, że Alcion wymaga izolacji danych i silnych zabezpieczeń, aby zapewnić, że najemcy mogą wyszukiwać tylko własne dane.
Usługa OpenSearch to w pełni zarządzana usługa, która ułatwia wdrażanie, skalowanie i obsługę OpenSearch w chmurze AWS. OpenSearch to licencjonowany Apache-2.0 pakiet open-source do wyszukiwania i analizy, składający się z OpenSearch (wyszukiwarka, silnik analityczny i wektorowa baza danych), OpenSearch Dashboards (interfejs użytkownika do wizualizacji i narzędzi) oraz wtyczek zapewniających zaawansowane możliwości, takie jak korporacyjne -klasa bezpieczeństwa, wykrywanie anomalii, obserwowalność, alerty i wiele więcej. Amazon OpenSearch bez serwera to opcja wdrażania bezserwerowego, która ułatwia korzystanie z OpenSearch bez konfigurowania, zarządzania i skalowania domen usługi OpenSearch.
W tym poście opisujemy, w jaki sposób wdrożenie rozwiązania OpenSearch Serverless umożliwiło firmie Alcion spełnienie wymagań dotyczących skali, zmniejszenie kosztów operacyjnych i zabezpieczenie danych najemców poprzez wymuszenie izolacja lokatorów w ich wielodostępnym środowisku.
Domeny zarządzane przez usługę OpenSearch
W ramach pierwszej iteracji swojej architektury wyszukiwania firma Alcion wybrała opcję wdrożenia domen zarządzanych w usłudze OpenSearch i była w stanie uruchomić funkcję wyszukiwania w środowisku produkcyjnym w mniej niż miesiąc. Aby spełnić wymagania dotyczące bezpieczeństwa, skali i dzierżawy, przechowali dane dla każdego dzierżawcy w dedykowanym indeksie i wykorzystali je precyzyjna kontrola dostępu w usłudze OpenSearch, aby zapobiec wyciekom danych między dzierżawcami. W miarę jak ich obciążenie pracą ewoluowało, inżynierowie Alcion śledzili wykorzystanie domeny OpenSearch za pomocą dostarczonego pliku Amazon Cloud Watch metryk, wprowadzając zmiany w celu zwiększenia ilości miejsca i optymalizacji zasobów obliczeniowych.
Zespół firmy Alcion wykorzystał kilka funkcji domen zarządzanych przez usługę OpenSearch, aby poprawić swoją postawę operacyjną. Wprowadzili aliasy indeksów, które zapewniają jedną nazwę aliasu umożliwiającą dostęp (odczyt i zapis) do wielu bazowych indeksów. Skonfigurowali też Zarządzanie stanem indeksu (ISM), aby pomóc im kontrolować cykl życia danych poprzez przewijanie indeksów na podstawie rozmiaru indeksu. Razem zasady ISM i aliasy indeksów były niezbędne do skalowania indeksów dla dużych dzierżawców. Stosowano również Alcion szablony indeksów definiowania fragmentów na indeks (partycjonowanie) swoich danych, aby zautomatyzować cykl życia danych oraz poprawić wydajność i stabilność ich domen.
Poniższy schemat architektury pokazuje, jak Alcion skonfigurował swoje domeny zarządzane OpenSearch.
Na poniższym diagramie przedstawiono, w jaki sposób dane Microsoft 365 były indeksowane i wyszukiwane w indeksach specyficznych dla dzierżawców. Firma Alcion zaimplementowała uwierzytelnianie żądań, dostarczając poświadczenia głównego użytkownika OpenSearch przy każdym żądaniu API.
Omówienie OpenSearch Serverless i opcje modelu najmu
Domeny zarządzane przez usługę OpenSearch stanowiły stabilną podstawę funkcji wyszukiwania firmy Alcion, ale zespół musiał ręcznie przydzielać zasoby do domen w przypadku ich największego obciążenia pracą. Pozostawiło to miejsce na optymalizację kosztów, ponieważ obciążenie pracą firmy Alcion jest ogromne — występują duże różnice w liczbie transakcji wyszukiwania i indeksowania na sekundę, zarówno dla pojedynczego klienta, jak iw ujęciu całościowym. Aby zmniejszyć koszty i obciążenia operacyjne, zespół zwrócił się do OpenSearch Serverless, który oferuje możliwość automatycznego skalowania.
Aby korzystać z OpenSearch Serverless, pierwszym krokiem jest utworzenie kolekcji. A kolekcja to grupa indeksów OpenSearch, które współpracują ze sobą w celu obsługi określonego obciążenia lub przypadku użycia. Zasoby obliczeniowe dla kolekcji, zwane jednostkami obliczeniowymi OpenSearch (OCU), są współużytkowane przez wszystkie kolekcje na koncie, które współużytkują klucz szyfrowania. Pula jednostek OCU jest automatycznie skalowana w górę iw dół, aby sprostać wymaganiom związanym z indeksowaniem i ruchem związanym z wyszukiwaniem.
Poziom wysiłku wymagany do migracji z domeny zarządzanej przez usługę OpenSearch do OpenSearch Serverless był możliwy do opanowania dzięki temu, że kolekcje OpenSearch Serverless obsługują te same interfejsy API i biblioteki OpenSearch, co domeny zarządzane przez usługę OpenSearch. Pozwoliło to firmie Alcion skupić się na optymalizacji modelu najmu dla nowej architektury wyszukiwania. W szczególności zespół musiał zdecydować, w jaki sposób podzielić dane najemcy w kolekcjach i indeksach, zachowując jednocześnie równowagę między bezpieczeństwem a całkowitym kosztem posiadania. Inżynierowie Alcion, we współpracy z zespołem OpenSearch Serverless, rozważono trzy modele najmu:
- Model silosowy: Utwórz kolekcję dla każdego najemcy
- Model puli: Utwórz pojedynczą kolekcję i użyj jednego indeksu dla wielu dzierżawców
- Model pomostowy: utwórz pojedynczą kolekcję i użyj jednego indeksu na dzierżawcę
Wszystkie trzy opcje projektowe miały zalety i kompromisy, które należało wziąć pod uwagę przy projektowaniu ostatecznego rozwiązania.
Model silosowy: Utwórz kolekcję dla każdego najemcy
W tym modelu Alcion tworzyłby nową kolekcję za każdym razem, gdy nowy klient dołączałby do ich platformy. Chociaż dane dzierżawy byłyby wyraźnie rozdzielone między kolekcjami, ta opcja została zdyskwalifikowana, ponieważ czas tworzenia kolekcji oznaczał, że klienci nie będą mogli tworzyć kopii zapasowych i wyszukiwać danych natychmiast po rejestracji.
Model puli: Utwórz pojedynczą kolekcję i użyj jednego indeksu dla wielu dzierżawców
W tym modelu Alcion utworzyłby pojedynczą kolekcję dla każdego konta AWS i indeksował dane specyficzne dla najemcy w jednym z wielu udostępnionych indeksów należących do tej kolekcji. Początkowo łączenie danych dzierżawców w udostępnione indeksy było atrakcyjne z punktu widzenia skali, ponieważ prowadziło do najbardziej efektywnego wykorzystania zasobów indeksu. Ale po dalszej analizie Alcion stwierdził, że mieszczą się one w ramach limitu indeksu na kolekcję, nawet jeśli przydzielą jeden indeks dla każdego najemcy. Po rozwiązaniu tego problemu ze skalowalnością firma Alcion zdecydowała się na trzecią opcję, ponieważ umieszczanie danych dzierżawców w dedykowanych indeksach prowadzi do silniejszej izolacji dzierżawców niż w przypadku modelu współdzielonego indeksu.
Model pomostowy: utwórz pojedynczą kolekcję i użyj jednego indeksu na dzierżawcę
W tym modelu Alcion utworzyłby pojedynczą kolekcję dla każdego konta AWS i utworzyłby indeks dla każdego z setek dzierżawców zarządzanych przez to konto. Przypisując każdego najemcę do dedykowanego indeksu i łącząc te indeksy w jedną kolekcję, Alcion skrócił czas wdrażania nowych najemców i umieścił dane najemców w wyraźnie oddzielonych zasobnikach.
Implementacja kontroli dostępu opartej na rolach w celu obsługi wielu najemców
OpenSearch Serverless oferuje wielopunktowy, dziedziczny zestaw kontroli bezpieczeństwa, obejmujący dostęp do danych, dostęp do sieci i szyfrowanie. Firma Alcion w pełni wykorzystała technologię OpenSearch Serverless zasady dostępu do danych zaimplementować kontrolę dostępu opartą na rolach (RBAC) dla każdego indeksu specyficznego dla dzierżawy z następującymi szczegółami:
- Przydziel indeks ze wspólnym prefiksem i identyfikatorem dzierżawy (na przykład
index-v1-<tenantID>
) - Stwórz dedykowany AWS Zarządzanie tożsamością i dostępem (IAM), która jest używana do podpisywania żądań do kolekcji OpenSearch Serverless
- Utwórz zasady dostępu do danych OpenSearch Serverless, które przyznają uprawnienia do odczytu/zapisu dokumentów w dedykowanym indeksie dzierżawcy roli IAM dla tego dzierżawcy
- Żądania API OpenSearch do indeksu dzierżawy są podpisywane przy użyciu tymczasowych poświadczeń należących do roli IAM określonej dla dzierżawy
Poniżej przedstawiono przykładowe zasady dostępu do danych OpenSearch Serverless dla pozorowanej dzierżawy z identyfikatorem t-eca0acc1-12345678910
. Ta zasada przyznaje dokumentowi roli IAM dostęp do odczytu/zapisu do dedykowanego dostępu dzierżawy.
Poniższy diagram architektury przedstawia sposób, w jaki firma Alcion zaimplementowała indeksowanie i wyszukiwanie zasobów Microsoft 365 przy użyciu podejścia OpenSearch Serverless do udostępniania kolekcji.
Poniżej znajduje się przykładowy fragment kodu służący do wysyłania żądania interfejsu API do kolekcji OpenSearch Serverless. Zwróć uwagę, jak klient API jest inicjowany przy użyciu obiektu podpisującego, który podpisuje żądania z tym samym podmiotem uprawnień IAM, który jest powiązany z zasadami dostępu do danych OpenSearch Serverless z poprzedniego fragmentu kodu.
Wnioski
W maju 2023 r. Alcion wdrożył swoją architekturę wyszukiwania opartą na współdzielonym zbiorze i dedykowanym modelu indeksowania na dzierżawcę we wszystkich środowiskach produkcyjnych i przedprodukcyjnych. Zespołowi udało się wyodrębnić złożony kod i procesy operacyjne, które były przeznaczone do skalowania domen zarządzanych przez usługę OpenSearch. Co więcej, dzięki funkcjom automatycznego skalowania OpenSearch Serverless, Alcion obniżył koszty OpenSearch o 30% i oczekuje, że profil kosztów będzie skalował się korzystnie.
W swojej podróży od zarządzanej do bezserwerowej usługi OpenSearch firma Alcion skorzystała na początkowym wyborze domen zarządzanych w usłudze OpenSearch. Podczas migracji do przodu mogli ponownie wykorzystać te same interfejsy API i biblioteki OpenSearch w swoich kolekcjach OpenSearch Serverless, których używali w swojej domenie zarządzanej przez usługę OpenSearch. Ponadto zaktualizowali swój model dzierżawy, aby skorzystać z zasad dostępu do danych OpenSearch Serverless. Dzięki OpenSearch Serverless byli w stanie bez wysiłku dostosować się do potrzeb swoich klientów w zakresie skali, zapewniając jednocześnie izolację najemców.
Aby uzyskać więcej informacji o Alcion, odwiedź ich .
O autorach
Zack Rossman jest członkiem personelu technicznego w firmie Alcion. Jest liderem technicznym w zakresie platform wyszukiwania i sztucznej inteligencji. Przed Alcion Zack był starszym inżynierem oprogramowania w Okta, opracowując podstawowe produkty do zarządzania tożsamością pracowników i dostępem dla zespołu Directories.
Niraj Jetly jest menedżerem ds. rozwoju oprogramowania w Amazon OpenSearch Serverless. Niraj kieruje kilkoma zespołami odpowiedzialnymi za uruchomienie Amazon OpenSearch Serverless. Przed AWS Niraj przez ponad 15 lat kierował kilkoma zespołami produktowymi i inżynieryjnymi jako CTO, VP of Engineering i Head of Product Management. Niraj jest laureatem ponad 15 nagród za innowacyjność, w tym tytułu CIO roku 2014 i 100 najlepszych CIO w 2013 i 2016 roku. Często przemawia na kilku konferencjach, cytowany jest w NPR, WSJ i The Boston Globe.
Jona Handlera jest starszym głównym architektem rozwiązań w Amazon Web Services z siedzibą w Palo Alto w Kalifornii. Jon ściśle współpracuje z OpenSearch i Amazon OpenSearch Service, udzielając pomocy i wskazówek szerokiemu gronu klientów, którzy mają obciążenia związane z wyszukiwaniem i analizą dzienników, które chcą przenieść do chmury AWS. Przed dołączeniem do AWS kariera Jona jako programisty obejmowała 4 lata kodowania zakrojonej na szeroką skalę wyszukiwarki e-commerce. Jon posiada tytuł Bachelor of the Arts z University of Pennsylvania oraz tytuł magistra i doktora informatyki i sztucznej inteligencji z Northwestern University.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Motoryzacja / pojazdy elektryczne, Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Przesunięcia bloków. Modernizacja własności offsetu środowiskowego. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :ma
- :Jest
- $W GÓRĘ
- 10
- 100
- 15 roku
- 15%
- 16
- 2013
- 2014
- 2016
- 2023
- a
- Zdolny
- O nas
- dostęp
- zarządzanie dostępem
- Konto
- dokładny
- w poprzek
- przystosować
- do tego
- Adresy
- Administratorzy
- Przyjęcie
- zaawansowany
- Korzyść
- Po
- AI
- Wszystkie kategorie
- przydzielony
- dopuszczać
- dozwolony
- również
- Chociaż
- Amazonka
- Amazon Web Services
- an
- analiza
- analityka
- i
- wykrywanie anomalii
- api
- Pszczoła
- podejście
- architektura
- SĄ
- sztuczny
- sztuczna inteligencja
- Sztuka
- AS
- At
- atrakcyjny
- Uwierzytelnianie
- samochód
- zautomatyzować
- automatycznie
- nagrody
- AWS
- Baas
- z powrotem
- backup
- równoważenie
- na podstawie
- BE
- bo
- być
- jest
- Korzyści
- pomiędzy
- Blog
- ciało
- boston
- obie
- szeroki
- ciężar
- ale
- by
- CA
- nazywa
- CAN
- możliwości
- zdolność
- Kariera
- walizka
- katalog
- Zmiany
- wybór
- wybory
- wybrał
- CIO
- klient
- dokładnie
- Chmura
- kod
- Kodowanie
- współpraca
- kolekcja
- kolekcje
- wspólny
- kompleks
- obejmujący
- obliczać
- komputer
- Computer Science
- Troska
- konferencje
- skonfigurowany
- za
- łączność
- kontekst
- kontrola
- kontroli
- rdzeń
- Koszty:
- Koszty:
- pokrycie
- Stwórz
- Tworzenie
- tworzenie
- Listy uwierzytelniające
- CTO
- klient
- Klientów
- cyber
- Deski rozdzielcze
- dane
- dostęp do danych
- Utrata danych
- Baza danych
- zdecydować
- dedykowane
- Domyślnie
- wymagania
- rozwijać
- Wdrożenie
- opis
- Wnętrze
- projektowanie
- detale
- Wykrywanie
- Deweloper
- rozwijanie
- oprogramowania
- katalogi
- dokument
- dokumenty
- domena
- domeny
- na dół
- każdy
- łatwo
- ecommerce
- wydajny
- wysiłek
- e-maile
- włączony
- szyfrowanie
- Egzekwowanie
- silnik
- inżynier
- Inżynieria
- Inżynierowie
- zapewnić
- zapewnienie
- klasy korporacyjnej
- Środowisko
- środowiska
- błąd
- Błędy
- Eter (ETH)
- Parzyste
- wydarzenie
- wydarzenia
- ewoluowały
- przykład
- oczekuje
- fakt
- Korzyści
- Akta
- finał
- i terminów, a
- Skupiać
- następujący
- W razie zamówieenia projektu
- Naprzód
- znaleziono
- Fundacja
- częsty
- od
- pełny
- w pełni
- Funkcjonalność
- dalej
- Ponadto
- miejsce
- GitHub
- globus
- Dotacje
- Zarządzanie
- Gość
- Blog gościa
- poradnictwo
- miał
- Have
- he
- głowa
- pomoc
- pomaga
- posiada
- W jaki sposób
- How To
- HTML
- http
- HTTPS
- Setki
- IAM
- ID
- tożsamość
- zarządzanie tożsamością i dostępem
- if
- natychmiast
- wdrożenia
- realizowane
- importować
- podnieść
- in
- włączony
- Włącznie z
- Zwiększać
- wskaźnik
- zindeksowane
- indeksy
- Informacja
- początkowy
- początkowo
- Innowacja
- nagrody za innowacje
- Inteligencja
- Interfejs
- najnowszych
- wprowadzono
- izolacja
- IT
- szt
- iteracja
- JEGO
- łączący
- Jon
- podróż
- jpg
- json
- Klawisz
- duży
- na dużą skalę
- uruchomić
- wodowanie
- prowadzić
- Wyprowadzenia
- Wycieki
- Doprowadziło
- lewo
- mniej
- poziom
- biblioteki
- wifecycwe
- lubić
- powiązany
- załadunek
- log
- od
- WYKONUJE
- Dokonywanie
- zarządzane
- i konserwacjami
- kierownik
- zarządzający
- ręcznie
- wiele
- mistrz
- Mecz
- Może..
- znaczy
- Oznaczało
- Poznaj nasz
- członek
- Metadane
- Metryka
- Microsoft
- Microsoft 365
- migrować
- migracja
- model
- Miesiąc
- jeszcze
- większość
- ruch
- dużo
- wielokrotność
- Nazwa
- O imieniu
- niezbędny
- Potrzebować
- potrzebne
- wymagania
- sieć
- Dostęp do sieci
- Nowości
- Northwestern University
- Zauważyć..
- numer
- przedmiot
- of
- Oferty
- OK
- on
- Wprowadzenie
- ONE
- tylko
- open source
- działać
- operacyjny
- Optymalizacja
- optymalizacji
- Option
- or
- Oss
- na zewnątrz
- koniec
- przegląd
- własny
- własność
- strona
- Palo Alto
- Szczyt
- Pensylwania
- dla
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- pozwolenie
- uprawnienia
- perspektywa
- Platforma
- Platformy
- plato
- Analiza danych Platona
- PlatoDane
- wtyczki
- polityka
- polityka
- basen
- Post
- zapobiec
- poprzedni
- pierwotny
- Główny
- Wcześniejszy
- procesów
- Produkt
- zarządzanie produktem
- Produkcja
- Produkty
- Profil
- chronić
- zapewniać
- pod warunkiem,
- dostawca
- że
- zaopatrzenie
- szybko
- zasięg
- Czytaj
- Czytelnik
- zmniejszyć
- Zredukowany
- Rejestracja
- rzetelny
- zażądać
- wywołań
- wymagany
- wymagania
- Wymaga
- zdecydowany
- Zasób
- Zasoby
- odpowiedź
- odpowiedzialny
- przywracać
- Efekt
- powrót
- ponownie
- Rola
- Walcowane
- Walcowanie
- Pokój
- reguły
- taki sam
- Skalowalność
- Skala
- skalowaniem
- nauka
- zakres
- Szukaj
- Wyszukiwarka
- poszukiwania
- druga
- bezpieczne
- bezpieczeństwo
- wysyłanie
- senior
- Bezserwerowe
- usługa
- Usługi
- zestaw
- kilka
- Share
- shared
- Targi
- znak
- podpisana
- znaki
- Prosty
- pojedynczy
- Rozmiar
- skrawek
- So
- Tworzenie
- rozwoju oprogramowania
- Software Engineer
- rozwiązanie
- Rozwiązania
- Głośnik
- specyficzny
- swoiście
- Stabilność
- stabilny
- Personel
- Stan
- Ewolucja krok po kroku
- przechowywanie
- przechowywany
- sznur
- silny
- silniejszy
- apartament
- wsparcie
- Wspierający
- podpory
- Brać
- Zadania
- zespół
- Zespoły
- tech
- Techniczny
- tymczasowy
- najemca
- niż
- dzięki
- że
- Połączenia
- ich
- Im
- Te
- one
- Trzeci
- to
- zagrożenia
- trzy
- czas
- do
- razem
- wziął
- Top
- Kwota produktów:
- ruch drogowy
- transakcje
- transakcje na sekundę
- Obrócony
- zasadniczy
- jednostek
- uniwersytet
- University of Pennsylvania
- zaktualizowane
- posługiwać się
- przypadek użycia
- używany
- Użytkownik
- Interfejs użytkownika
- zastosowania
- za pomocą
- użyteczność
- Wartości
- przez
- Odwiedzić
- wyobrażanie sobie
- vp
- chcieć
- była
- we
- sieć
- usługi internetowe
- DOBRZE
- były
- ilekroć
- który
- Podczas
- KIM
- cały
- w
- w ciągu
- bez
- Praca
- pracować razem
- Siła robocza
- działa
- by
- napisać
- WSJ
- rok
- lat
- zefirnet