Bu, Alcion'dan Zack Rossman ile birlikte yazılan bir konuk blog yazısıdır.
Öncelikli güvenlik, yapay zeka odaklı bir hizmet olarak yedekleme (BaaS) platformu olan Alcion, Microsoft 365 yöneticilerinin verileri siber tehditlere ve kazara veri kaybına karşı hızlı ve sezgisel bir şekilde korumasına yardımcı olur. Veri kaybı durumunda, Alcion müşterilerinin geri yükleme için belirli öğe sürümlerini seçmek üzere yedeklenen öğeler (dosyalar, e-postalar, kişiler, olaylar vb.) için meta verilerde arama yapması gerekir. Alcion'un kullanımları Amazon Açık Arama Hizmeti müşterilerine bu yedekleme kataloğunda doğru, verimli ve güvenilir arama yeteneği sağlamak. Platform çok kiracılıdır, yani Alcion, kiracıların yalnızca kendi verilerini arayabilmesini sağlamak için veri izolasyonu ve güçlü güvenlik gerektirir.
OpenSearch Hizmeti, OpenSearch'ü AWS Cloud'da dağıtmayı, ölçeklendirmeyi ve çalıştırmayı kolaylaştıran, tam olarak yönetilen bir hizmettir. OpenSearch, OpenSearch (bir arama, analiz motoru ve vektör veritabanı), OpenSearch Dashboards (bir görselleştirme ve yardımcı program kullanıcı arabirimi) ve kurumsal gibi gelişmiş yetenekler sağlayan eklentilerden oluşan, Apache-2.0 lisanslı, açık kaynaklı bir arama ve analiz paketidir. dereceli güvenlik, anormallik tespiti, gözlemlenebilirlik, uyarı ve çok daha fazlası. Amazon OpenSearch Sunucusuz OpenSearch Hizmeti etki alanlarını yapılandırmadan, yönetmeden ve ölçeklendirmeden OpenSearch kullanımını kolaylaştıran sunucusuz bir dağıtım seçeneğidir.
Bu gönderide, OpenSearch Serverless'ı benimsemenin Alcion'un ölçek gereksinimlerini karşılamasını, operasyonel ek yüklerini azaltmasını ve kiracı verilerini zorunlu kılarak nasıl güvence altına almasını sağladığını paylaşıyoruz. kiracı izolasyonu çok kiracılı ortamlarında.
OpenSearch Hizmeti tarafından yönetilen etki alanları
Alcion, arama mimarilerinin ilk yinelemesi için OpenSearch Hizmetinde yönetilen etki alanları dağıtım seçeneğini seçti ve arama işlevlerini bir aydan kısa bir süre içinde üretimde başlatmayı başardı. Güvenlik, ölçek ve kiracılık gereksinimlerini karşılamak için her kiracının verilerini özel bir dizinde depoladılar ve ince taneli erişim kontrolü kiracılar arası veri sızıntılarını önlemek için OpenSearch Hizmetinde. Alcion mühendisleri, iş yükleri geliştikçe OpenSearch etki alanı kullanımını, sağlanan Amazon Bulut İzleme depolamayı artırmak ve bilgi işlem kaynaklarını optimize etmek için değişiklikler yapmak.
Alcion'daki ekip, operasyonel duruşlarını iyileştirmek için OpenSearch Service tarafından yönetilen etki alanlarının çeşitli özelliklerini kullandı. Birden çok temel dizine erişmek (okumak ve yazmak) için tek bir takma ad sağlayan dizin takma adlarını tanıttılar. Onlar da yapılandırdı Endeks Durum Yönetimi (ISM) ilkeleri, dizinleri dizin boyutuna göre yuvarlayarak veri yaşam döngülerini kontrol etmelerine yardımcı olur. Büyük kiracılar için dizinleri ölçeklendirmek üzere ISM ilkeleri ve dizin takma adları birlikte gerekliydi. Alcion da kullanılır dizin şablonları veri yaşam döngülerini otomatikleştirmek ve etki alanlarının performansını ve kararlılığını iyileştirmek için verilerinin dizin (bölümleme) başına parçalarını tanımlamak.
Aşağıdaki mimari diyagram, Alcion'un OpenSearch tarafından yönetilen etki alanlarını nasıl yapılandırdığını gösterir.
Aşağıdaki diyagram, Microsoft 365 verilerinin kiracıya özgü dizinlere nasıl dizine eklendiğini ve bu dizinlerden nasıl sorgulandığını gösterir. Alcion, her API isteğiyle OpenSearch birincil kullanıcı kimlik bilgilerini sağlayarak istek kimlik doğrulaması gerçekleştirdi.
OpenSearch Serverless'a genel bakış ve kiracılık modeli seçenekleri
OpenSearch Hizmeti tarafından yönetilen etki alanları, Alcion'un arama işlevi için istikrarlı bir temel sağladı, ancak ekibin, en yoğun iş yükleri için alanlara kaynakları manuel olarak sağlaması gerekiyordu. Alcion'un iş yükü çok yoğun olduğu için bu, maliyet optimizasyonları için alan bıraktı; hem tek bir müşteri için hem de bir bütün olarak alındığında, saniye başına arama ve dizine ekleme işlemlerinin sayısında büyük farklılıklar var. Maliyetleri ve operasyonel yükü azaltmak için ekip, otomatik ölçeklendirme özelliği sunan OpenSearch Serverless'a yöneldi.
OpenSearch Serverless'ı kullanmak için ilk adım bir koleksiyon oluşturmaktır. A Toplamak belirli bir iş yükünü veya kullanım durumunu desteklemek için birlikte çalışan bir OpenSearch dizinleri grubudur. OpenSearch Bilgi İşlem Birimleri (OCU'lar) adı verilen bir koleksiyonun bilgi işlem kaynakları, bir şifreleme anahtarını paylaşan bir hesaptaki tüm koleksiyonlarda paylaşılır. OCU havuzu, indeksleme ve arama trafiği taleplerini karşılamak için otomatik olarak yukarı ve aşağı ölçeklendirilir.
OpenSearch Service tarafından yönetilen bir etki alanından OpenSearch Serverless'a geçiş yapmak için gereken çaba düzeyi, OpenSearch Serverless koleksiyonlarının OpenSearch Service tarafından yönetilen etki alanları ile aynı OpenSearch API'lerini ve kitaplıklarını desteklemesi sayesinde yönetilebilir düzeydeydi. Bu, Alcion'un kiracılık modelini yeni arama mimarisi için optimize etmeye odaklanmasını sağladı. Özellikle ekibin, güvenliği ve toplam sahip olma maliyetini dengelerken, koleksiyonlar ve dizinler içinde kiracı verilerini nasıl bölümlendireceğine karar vermesi gerekiyordu. Alcion mühendisleri, OpenSearch Serverless ekibiyle işbirliği içinde, üç kiracılık modeli olarak kabul edildi:
- Silo modeli: Her kiracı için bir koleksiyon oluşturun
- Havuz modeli: Tek bir koleksiyon oluşturun ve birden çok kiracı için tek bir dizin kullanın
- Köprü modeli: Tek bir koleksiyon oluşturun ve kiracı başına tek bir dizin kullanın
Üç tasarım seçeneğinin de nihai çözümü tasarlamak için dikkate alınması gereken faydaları ve ödünleşimleri vardı.
Silo modeli: Her kiracı için bir koleksiyon oluşturun
Bu modelde Alcion, platformuna yeni bir müşteri katıldığında yeni bir koleksiyon oluşturacaktı. Kiracı verileri, koleksiyonlar arasında temiz bir şekilde ayrılacak olsa da, koleksiyon oluşturma süresi, müşterilerin kayıttan hemen sonra verileri yedekleyemeyeceği ve arayamayacağı anlamına geldiğinden, bu seçenek diskalifiye edildi.
Havuz modeli: Tek bir koleksiyon oluşturun ve birden çok kiracı için tek bir dizin kullanın
Bu modelde Alcion, AWS hesabı başına tek bir koleksiyon oluşturur ve bu koleksiyona ait birçok paylaşılan dizinden birinde kiracıya özgü verileri endeksler. Başlangıçta, kiracı verilerini paylaşılan dizinlerde havuzlamak, ölçek açısından çekiciydi çünkü bu, dizin kaynaklarının en verimli şekilde kullanılmasına yol açtı. Ancak daha fazla analizin ardından Alcion, her kiracı için bir dizin tahsis etseler bile koleksiyon başına dizin kotasını iyi bir şekilde aşacaklarını buldu. Bu ölçeklenebilirlik sorunu çözüldüğünde, Alcion üçüncü seçeneği takip etti çünkü kiracı verilerini özel dizinlere silolamak, paylaşılan dizin modelinden daha güçlü kiracı yalıtımına yol açar.
Köprü modeli: Tek bir koleksiyon oluşturun ve kiracı başına tek bir dizin kullanın
Bu modelde Alcion, AWS hesabı başına tek bir koleksiyon oluşturacak ve bu hesap tarafından yönetilen yüzlerce kiracının her biri için bir dizin oluşturacaktı. Alcion, her kiracıyı özel bir dizine atayarak ve bu dizinleri tek bir koleksiyonda toplayarak, yeni kiracılar için işe alım süresini kısalttı ve kiracı verilerini temiz bir şekilde ayrılmış bölümlere ayırdı.
Çoklu kiralamayı desteklemek için rol tabanlı erişim denetimi uygulama
OpenSearch Serverless, veri erişimi, ağ erişimi ve şifrelemeyi kapsayan çok noktalı, devralınabilen bir dizi güvenlik denetimi sunar. Alcion, OpenSearch Serverless'ın tüm avantajlarından yararlandı veri erişim politikaları aşağıdaki ayrıntılarla kiracıya özgü her dizin için rol tabanlı erişim denetimi (RBAC) uygulamak için:
- Ortak bir önek ve kiracı kimliği ile bir dizin tahsis edin (örneğin,
index-v1-<tenantID>
) - adanmış oluşturun AWS Kimlik ve Erişim Yönetimi OpenSearch Serverless koleksiyonuna istekleri imzalamak için kullanılan (IAM) rolü
- Söz konusu kiracı için IAM rolüne ayrılmış bir kiracı dizini içinde belge okuma/yazma izinleri veren bir OpenSearch Sunucusuz veri erişim ilkesi oluşturun
- Bir kiracı dizinine yönelik OpenSearch API istekleri, kiracıya özgü IAM rolüne ait geçici kimlik bilgileriyle imzalanır
Kimliğe sahip sahte bir kiracı için örnek bir OpenSearch Sunucusuz veri erişim ilkesi aşağıdadır t-eca0acc1-12345678910
. Bu ilke, IAM rol belgesine, ayrılmış kiracı erişimi için okuma/yazma erişimi verir.
Aşağıdaki mimari diyagram, Alcion'un OpenSearch Serverless paylaşılan toplama yaklaşımını kullanarak Microsoft 365 kaynakları için dizin oluşturmayı ve aramayı nasıl uyguladığını göstermektedir.
Aşağıda, OpenSearch Sunucusuz bir koleksiyona API isteği göndermek için örnek kod parçacığı yer almaktadır. API istemcisinin, önceki kod parçacığından OpenSearch Sunucusuz veri erişim ilkesine bağlı olan aynı IAM ilkesiyle istekleri imzalayan bir imzalayan nesnesiyle nasıl başlatıldığına dikkat edin.
Sonuç
Mayıs 2023'te Alcion, tüm üretim ve üretim öncesi ortamlarında paylaşılan koleksiyona ve tahsis edilmiş kiracı başına dizin modeline dayalı arama mimarisini kullanıma sundu. Ekip, OpenSearch Hizmeti tarafından yönetilen etki alanlarını ölçeklendirmeye ayrılmış karmaşık kodu ve operasyonel süreçleri ayıklamayı başardı. Ayrıca OpenSearch Serverless'ın otomatik ölçeklendirme özellikleri sayesinde Alcion, OpenSearch maliyetlerini %30 oranında azalttı ve maliyet profilinin olumlu bir şekilde ölçeklenmesini bekliyor.
Yönetilen OpenSearch Service'ten sunucusuz OpenSearch Service'e geçiş yolculuğunda Alcion, OpenSearch Service tarafından yönetilen alan adlarının ilk tercihinden faydalandı. İleriye geçiş sırasında, OpenSearch Hizmeti tarafından yönetilen etki alanları için kullandıkları aynı OpenSearch API'lerini ve kitaplıklarını OpenSearch Sunucusuz koleksiyonları için yeniden kullanabildiler. Ek olarak, OpenSearch Sunucusuz veri erişim ilkelerinden yararlanmak için kiracılık modellerini güncellediler. OpenSearch Serverless ile, kiracı izolasyonunu sağlarken müşterilerinin ölçek ihtiyaçlarına kolayca uyum sağlayabildiler.
Alcion hakkında daha fazla bilgi için, ziyaret edin Web sitesi.
Yazarlar Hakkında
Zack Rossman, Alcion'da Teknik Personelin bir Üyesidir. Arama ve yapay zeka platformlarının teknoloji lideridir. Alcion'dan önce Zack, Okta'da Kıdemli Yazılım Mühendisiydi ve Dizinler ekibi için temel iş gücü kimliği ve erişim yönetimi ürünleri geliştiriyordu.
Niraj Jetly, Amazon OpenSearch Serverless için bir Yazılım Geliştirme Yöneticisidir. Niraj, Amazon OpenSearch Serverless'ı başlatmaktan sorumlu birkaç veri uçağı ekibine liderlik ediyor. AWS'den önce Niraj, 15 yılı aşkın bir süredir CTO, Mühendislikten Sorumlu Başkan Yardımcısı ve Ürün Yönetimi Başkanı olarak çeşitli ürün ve mühendislik ekiplerine liderlik etti. Niraj, 15'te yılın CIO'su ve 2014 ve 100'da ilk 2013 CIO'su seçilmek de dahil olmak üzere 2016'in üzerinde inovasyon ödülü almıştır. Çeşitli konferanslarda sık sık konuşmacı olarak yer almıştır, NPR, WSJ ve The Boston Globe'da alıntılanmıştır.
Jon işleyici Palo Alto, CA merkezli Amazon Web Services'ta Kıdemli Baş Çözüm Mimarıdır. Jon, OpenSearch ve Amazon OpenSearch Service ile yakın işbirliği içinde çalışarak AWS Cloud'a taşımak istedikleri arama ve günlük analitiği iş yüklerine sahip çok çeşitli müşterilere yardım ve rehberlik sağlar. AWS'ye katılmadan önce, Jon'un bir yazılım geliştiricisi olarak kariyeri, 4 yıllık büyük ölçekli bir e-ticaret arama motorunu kodlamayı içeriyordu. Jon, Pennsylvania Üniversitesi'nden lisans derecesine ve Northwestern Üniversitesi'nden Bilgisayar Bilimi ve Yapay Zeka alanında Yüksek Lisans ve Doktora derecesine sahiptir.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. Otomotiv / EV'ler, karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- Blok Ofsetleri. Çevre Dengeleme Sahipliğini Modernleştirme. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :vardır
- :dır-dir
- $UP
- 10
- 100
- 15 yıl
- %15
- 16
- 2013
- 2014
- 2016
- 2023
- a
- Yapabilmek
- Hakkımızda
- erişim
- erişim yönetimi
- Hesap
- doğru
- karşısında
- uyarlamak
- Ayrıca
- adresleri
- yöneticiler
- Benimsemek
- ileri
- avantaj
- Sonra
- AI
- Türkiye
- tahsis
- izin vermek
- izin
- Ayrıca
- Rağmen
- Amazon
- Amazon Web Servisleri
- an
- analiz
- analytics
- ve
- anomali tespiti
- api
- API'ler
- yaklaşım
- mimari
- ARE
- yapay
- yapay zeka
- Sanat
- AS
- At
- çekici
- Doğrulama
- Oto
- otomatikleştirmek
- otomatik olarak
- ödülleri
- AWS
- efendi
- Arka
- yedek
- dengeleme
- merkezli
- BE
- Çünkü
- olmuştur
- olmak
- faydaları
- arasında
- Blog
- vücut
- boston
- her ikisi de
- geniş
- yük
- fakat
- by
- CA
- denilen
- CAN
- yetenekleri
- kabiliyet
- Kariyer
- dava
- katalog
- değişiklikler
- seçim
- choices
- seçti
- CIO
- müşteri
- yakından
- bulut
- kod
- kodlama
- işbirliği
- Toplamak
- koleksiyon
- ortak
- karmaşık
- içeren
- hesaplamak
- bilgisayar
- Bilgisayar Bilimleri
- İlgilendirmek
- konferanslar
- yapılandırılmış
- kabul
- kontaklar
- bağlam
- kontrol
- kontroller
- çekirdek
- Ücret
- maliyetler
- kaplama
- yaratmak
- Oluşturma
- oluşturma
- Tanıtım
- CTO
- müşteri
- Müşteriler
- Siber
- gösterge tabloları
- veri
- veri erişim
- Veri Kaybı
- veritabanı
- karar vermek
- adanmış
- Varsayılan
- talepleri
- dağıtmak
- açılma
- tanım
- Dizayn
- tasarım
- ayrıntılar
- Bulma
- Geliştirici
- gelişen
- gelişme
- dizinleri
- belge
- evraklar
- domain
- etki
- aşağı
- her
- kolay
- e-ticaret
- verimli
- çaba
- e-postalar
- etkin
- şifreleme
- zorlama
- Motor
- mühendis
- Mühendislik
- Mühendisler
- sağlamak
- sağlanması
- Kurum düzeyi
- çevre
- ortamları
- hata
- Hatalar
- Eter (ETH)
- Hatta
- Etkinlikler
- olaylar
- gelişti
- örnek
- beklediğini
- gerçek
- Özellikler
- dosyalar
- son
- Ad
- odak
- takip etme
- İçin
- ileri
- bulundu
- vakıf
- sık
- itibaren
- tam
- tamamen
- işlevsellik
- daha fazla
- Ayrıca
- alma
- GitHub
- dünya
- yardımlar
- grup
- Konuk
- Konuk blogu
- rehberlik
- vardı
- Var
- he
- baş
- yardım et
- yardımcı olur
- tutar
- Ne kadar
- Nasıl Yapılır
- HTML
- http
- HTTPS
- Yüzlerce
- IAM
- ID
- Kimlik
- kimlik ve erişim yönetimi
- if
- hemen
- uygulamak
- uygulanan
- ithalat
- iyileştirmek
- in
- dahil
- Dahil olmak üzere
- Artırmak
- indeks
- endeksli
- indeksler
- bilgi
- ilk
- başlangıçta
- Yenilikçilik
- inovasyon ödülleri
- İstihbarat
- arayüzey
- içine
- tanıttı
- izolasyon
- IT
- ürün
- tekrarlama
- ONUN
- birleştirme
- jon
- seyahat
- jpg
- json
- anahtar
- büyük
- büyük ölçekli
- başlatmak
- fırlatma
- öncülük etmek
- İlanlar
- Kaçaklar
- Led
- sol
- az
- seviye
- kütüphaneler
- yaşam döngüsü
- sevmek
- bağlantılı
- yükleme
- log
- kayıp
- YAPAR
- Yapımı
- yönetilen
- yönetim
- müdür
- yönetme
- el ile
- çok
- usta
- Maç
- Mayıs..
- anlamına geliyor
- demek
- Neden
- üye
- Metadata
- Metrikleri
- Microsoft
- Microsoft 365
- göç
- göç
- model
- Ay
- Daha
- çoğu
- hareket
- çok
- çoklu
- isim
- adlı
- gerekli
- gerek
- gerekli
- ihtiyaçlar
- ağ
- Ağ Girişi
- yeni
- Northwestern Üniversitesi
- Fark etme..
- numara
- nesne
- of
- Teklifler
- Okta
- on
- Onboarding
- ONE
- bir tek
- açık kaynak
- işletmek
- işletme
- optimize
- optimize
- seçenek
- or
- Bize
- dışarı
- tekrar
- genel bakış
- kendi
- mülkiyet
- Kanal
- Palo Alto
- zirve
- Pensilvanya
- başına
- performans
- izin
- izinleri
- perspektif
- platform
- Platformlar
- Platon
- Plato Veri Zekası
- PlatoVeri
- eklentileri
- politikaları
- politika
- havuz
- Çivi
- önlemek
- önceki
- birincil
- Anapara
- Önceki
- Süreçler
- PLATFORM
- ürün Yönetimi
- üretim
- Ürünler
- Profil
- korumak
- sağlamak
- sağlanan
- sağlayan
- sağlama
- hüküm
- hızla
- menzil
- Okumak
- Okuyucu
- azaltmak
- Indirimli
- kayıtlar
- güvenilir
- talep
- isteklerinizi
- gereklidir
- Yer Alan Kurallar
- gerektirir
- çözüldü
- kaynak
- Kaynaklar
- yanıt
- sorumlu
- geri
- Sonuçlar
- dönüş
- yeniden
- Rol
- Hadde
- rolling
- oda
- kurallar
- aynı
- ölçeklenebilirlik
- ölçek
- ölçekleme
- Bilim
- kapsam
- Ara
- arama motoru
- arama
- İkinci
- güvenli
- güvenlik
- gönderme
- kıdemli
- Serverless
- hizmet
- Hizmetler
- set
- birkaç
- paylaş
- Paylaşılan
- Gösteriler
- işaret
- imzalı
- İşaretler
- Basit
- tek
- beden
- pasajı
- So
- Yazılım
- yazılım geliştirme
- Yazılım Mühendisi
- çözüm
- Çözümler
- konuşmacı
- özel
- özellikle
- istikrar
- kararlı
- Personel
- Eyalet
- adım
- hafızası
- saklı
- dizi
- güçlü
- güçlü
- süit
- destek
- Destek
- Destekler
- Bizi daha iyi tanımak için
- alınan
- takım
- takım
- teknoloji
- Teknik
- geçici
- kiracı
- göre
- Teşekkürler
- o
- The
- ve bazı Asya
- Onları
- Bunlar
- onlar
- Üçüncü
- Re-Tweet
- tehditler
- üç
- zaman
- için
- birlikte
- aldı
- üst
- Toplam
- trafik
- işlemler
- saniyede işlem
- Dönük
- altında yatan
- birimleri
- üniversite
- University of Pennsylvania
- güncellenmiş
- kullanım
- kullanım durumu
- Kullanılmış
- kullanıcı
- Kullanıcı Arayüzü
- kullanım
- kullanma
- yarar
- Değerler
- üzerinden
- Türkiye Dental Sosyal Medya Hesaplarından bizi takip edebilirsiniz.
- görüntüleme
- vp
- istemek
- oldu
- we
- ağ
- web hizmetleri
- İYİ
- vardı
- her ne zaman
- hangi
- süre
- DSÖ
- bütün
- ile
- içinde
- olmadan
- İş
- birlikte çalışmak
- işgücü
- çalışır
- olur
- yazmak
- WSJ
- yıl
- yıl
- zefirnet