Ini adalah posting blog tamu yang ditulis bersama Zack Rossman dari Alcion.
Alcion, platform backup-as-a-service (BaaS) yang mengutamakan keamanan dan digerakkan oleh AI, membantu administrator Microsoft 365 dengan cepat dan intuitif melindungi data dari ancaman dunia maya dan kehilangan data yang tidak disengaja. Jika terjadi kehilangan data, pelanggan Alcion perlu mencari metadata untuk item yang dicadangkan (file, email, kontak, acara, dan sebagainya) untuk memilih versi item tertentu yang akan dipulihkan. Alcion menggunakan Layanan Pencarian Terbuka Amazon untuk memberi pelanggan mereka kemampuan pencarian yang akurat, efisien, dan andal di seluruh katalog cadangan ini. Platformnya multi-tenant, artinya Alcion memerlukan isolasi data dan keamanan yang kuat untuk memastikan bahwa tenant hanya dapat mencari datanya sendiri.
Layanan OpenSearch adalah layanan terkelola sepenuhnya yang memudahkan penerapan, penskalaan, dan pengoperasian OpenSearch di AWS Cloud. OpenSearch adalah rangkaian pencarian dan analitik berlisensi Apache-2.0, yang terdiri dari OpenSearch (pencarian, mesin analitik, dan basis data vektor), Dasbor OpenSearch (antarmuka pengguna utilitas dan visualisasi), dan plugin yang menyediakan kemampuan tingkat lanjut seperti perusahaan -tingkat keamanan, deteksi anomali, kemampuan pengamatan, peringatan, dan banyak lagi. Amazon OpenSearch Tanpa Server adalah opsi penerapan tanpa server yang memudahkan penggunaan OpenSearch tanpa mengonfigurasi, mengelola, dan menskalakan domain Layanan OpenSearch.
Dalam postingan ini, kami membagikan bagaimana mengadopsi OpenSearch Serverless Alcion yang diaktifkan untuk memenuhi persyaratan skala mereka, mengurangi biaya operasional, dan mengamankan data penyewa mereka dengan menerapkan isolasi penyewa dalam lingkungan multi-penyewa mereka.
Domain terkelola Layanan OpenSearch
Untuk iterasi pertama arsitektur pencarian mereka, Alcion memilih opsi penyebaran domain terkelola di Layanan OpenSearch dan dapat meluncurkan fungsi pencarian mereka dalam produksi dalam waktu kurang dari sebulan. Untuk memenuhi persyaratan keamanan, skala, dan penyewa, mereka menyimpan data untuk setiap penyewa dalam indeks khusus dan menggunakannya kontrol akses berbutir halus di Layanan OpenSearch untuk mencegah kebocoran data lintas penyewa. Saat beban kerja mereka berkembang, insinyur Alcion melacak penggunaan domain OpenSearch melalui file yang disediakan amazoncloudwatch metrik, membuat perubahan untuk meningkatkan penyimpanan dan mengoptimalkan sumber daya komputasi mereka.
Tim di Alcion menggunakan beberapa fitur domain terkelola Layanan OpenSearch untuk meningkatkan sikap operasional mereka. Mereka memperkenalkan alias indeks, yang memberikan satu nama alias untuk mengakses (membaca dan menulis) beberapa indeks yang mendasarinya. Mereka juga dikonfigurasi Manajemen Negara Indeks (ISM) untuk membantu mereka mengontrol siklus hidup data dengan menggulirkan indeks berdasarkan ukuran indeks. Bersama-sama, kebijakan ISM dan alias indeks diperlukan untuk mengukur indeks bagi penyewa besar. Alcion juga digunakan templat indeks untuk menentukan pecahan per indeks (mempartisi) data mereka untuk mengotomatiskan siklus hidup data mereka dan meningkatkan kinerja dan stabilitas domain mereka.
Diagram arsitektur berikut menunjukkan bagaimana Alcion mengonfigurasi domain terkelola OpenSearch mereka.
Diagram berikut memperlihatkan bagaimana data Microsoft 365 diindeks dan dikueri dari indeks khusus penyewa. Alcion menerapkan autentikasi permintaan dengan menyediakan kredensial pengguna utama OpenSearch dengan setiap permintaan API.
Ikhtisar OpenSearch Tanpa Server dan opsi model tenancy
Domain terkelola Layanan OpenSearch menyediakan fondasi yang stabil untuk fungsionalitas pencarian Alcion, tetapi tim perlu menyediakan sumber daya secara manual ke domain untuk beban kerja puncaknya. Hal ini menyisakan ruang untuk pengoptimalan biaya karena beban kerja Alcion sangat padat—ada variasi besar dalam jumlah transaksi pencarian dan pengindeksan per detik, baik untuk satu pelanggan maupun secara keseluruhan. Untuk mengurangi biaya dan beban operasional, tim beralih ke OpenSearch Serverless, yang menawarkan kemampuan penskalaan otomatis.
Untuk menggunakan OpenSearch Tanpa Server, langkah pertama adalah membuat koleksi. A koleksi adalah grup indeks OpenSearch yang bekerja sama untuk mendukung beban kerja atau kasus penggunaan tertentu. Sumber daya komputasi untuk koleksi, yang disebut OpenSearch Compute Units (OCU), dibagikan ke semua koleksi di akun yang berbagi kunci enkripsi. Kumpulan OCU secara otomatis ditingkatkan dan diturunkan untuk memenuhi tuntutan pengindeksan dan lalu lintas pencarian.
Tingkat upaya yang diperlukan untuk bermigrasi dari domain yang dikelola Layanan OpenSearch ke OpenSearch Tanpa Server dapat dikelola berkat fakta bahwa koleksi Tanpa Server OpenSearch mendukung OpenSearch API dan pustaka yang sama dengan domain yang dikelola Layanan OpenSearch. Hal ini memungkinkan Alcion untuk fokus mengoptimalkan model tenancy untuk arsitektur pencarian baru. Secara khusus, tim perlu memutuskan cara mempartisi data penyewa dalam koleksi dan indeks sambil menyeimbangkan keamanan dan total biaya kepemilikan. Insinyur Alcion, bekerja sama dengan tim Tanpa Server OpenSearch, dianggap tiga model sewa:
- Model silo: Buat koleksi untuk setiap penyewa
- Model kumpulan: Buat satu koleksi dan gunakan satu indeks untuk beberapa penyewa
- Model jembatan: Buat satu koleksi dan gunakan satu indeks per penyewa
Ketiga pilihan desain tersebut memiliki manfaat dan pertukaran yang harus dipertimbangkan untuk merancang solusi akhir.
Model silo: Buat koleksi untuk setiap penyewa
Dalam model ini, Alcion akan membuat koleksi baru setiap kali ada pelanggan baru yang masuk ke platform mereka. Meskipun data penyewa akan dipisahkan secara bersih di antara koleksi, opsi ini didiskualifikasi karena waktu pembuatan koleksi membuat pelanggan tidak dapat mencadangkan dan mencari data segera setelah pendaftaran.
Model kumpulan: Buat satu koleksi dan gunakan satu indeks untuk beberapa penyewa
Dalam model ini, Alcion akan membuat satu koleksi per akun AWS dan mengindeks data khusus penyewa di salah satu dari banyak indeks bersama milik koleksi tersebut. Awalnya, mengumpulkan data penyewa ke dalam indeks bersama menarik dari perspektif skala karena hal ini menyebabkan penggunaan sumber daya indeks yang paling efisien. Namun setelah analisis lebih lanjut, Alcion menemukan bahwa mereka akan berada dalam kuota indeks per koleksi bahkan jika mereka mengalokasikan satu indeks untuk setiap penyewa. Dengan diselesaikannya masalah skalabilitas tersebut, Alcion memilih opsi ketiga karena menggabungkan data penyewa ke dalam indeks khusus menghasilkan isolasi penyewa yang lebih kuat daripada model indeks bersama.
Model jembatan: Buat satu koleksi dan gunakan satu indeks per penyewa
Dalam model ini, Alcion akan membuat satu koleksi per akun AWS dan membuat indeks untuk masing-masing dari ratusan penyewa yang dikelola oleh akun tersebut. Dengan menugaskan setiap penyewa ke indeks khusus dan menggabungkan indeks ini dalam satu kumpulan, Alcion mengurangi waktu onboarding untuk penyewa baru dan data penyewa tersisihkan ke dalam keranjang yang terpisah dengan rapi.
Menerapkan kontrol akses berbasis peran untuk mendukung multi-tenancy
OpenSearch Tanpa Server menawarkan serangkaian kontrol keamanan multi-titik yang dapat diwariskan, yang mencakup akses data, akses jaringan, dan enkripsi. Alcion memanfaatkan sepenuhnya OpenSearch Tanpa Server kebijakan akses data untuk menerapkan kontrol akses berbasis peran (RBAC) untuk setiap indeks khusus penyewa dengan perincian berikut:
- Alokasikan indeks dengan awalan umum dan ID penyewa (misalnya,
index-v1-<tenantID>
) - Buat yang berdedikasi Identitas AWS dan Manajemen Akses (IAM) yang digunakan untuk menandatangani permintaan ke koleksi Tanpa Server OpenSearch
- Buat kebijakan akses data Tanpa Server OpenSearch yang memberikan izin baca/tulis dokumen dalam indeks penyewa khusus ke peran IAM untuk penyewa tersebut
- Permintaan API OpenSearch ke indeks penyewa ditandatangani dengan kredensial sementara milik peran IAM khusus penyewa
Berikut adalah contoh kebijakan akses data Tanpa Server OpenSearch untuk penyewa tiruan dengan ID t-eca0acc1-12345678910
. Kebijakan ini memberikan akses baca/tulis dokumen peran IAM ke akses penyewa khusus.
Diagram arsitektur berikut menggambarkan bagaimana Alcion mengimplementasikan pengindeksan dan pencarian sumber daya Microsoft 365 menggunakan pendekatan koleksi bersama OpenSearch Tanpa Server.
Berikut ini cuplikan kode contoh untuk mengirim permintaan API ke koleksi Tanpa Server OpenSearch. Perhatikan bagaimana klien API diinisialisasi dengan objek penanda tangan yang menandatangani permintaan dengan prinsipal IAM yang sama yang ditautkan ke kebijakan akses data Tanpa Server OpenSearch dari cuplikan kode sebelumnya.
Kesimpulan
Pada Mei 2023, Alcion meluncurkan arsitektur pencariannya berdasarkan koleksi bersama dan model indeks per penyewa khusus di semua lingkungan produksi dan praproduksi. Tim mampu membongkar kode rumit dan proses operasional yang telah didedikasikan untuk meningkatkan skala domain terkelola Layanan OpenSearch. Selain itu, berkat kemampuan penskalaan otomatis dari OpenSearch Tanpa Server, Alcion telah mengurangi biaya OpenSearch mereka sebesar 30% dan mengharapkan profil biaya untuk diskalakan dengan baik.
Dalam perjalanan mereka dari Layanan OpenSearch terkelola menjadi tanpa server, Alcion mendapat manfaat dari pilihan awal domain terkelola Layanan OpenSearch mereka. Saat bermigrasi ke depan, mereka dapat menggunakan kembali API dan pustaka OpenSearch yang sama untuk koleksi OpenSearch Tanpa Server yang mereka gunakan untuk domain terkelola Layanan OpenSearch. Selain itu, mereka memperbarui model persewaan mereka untuk memanfaatkan kebijakan akses data Tanpa Server OpenSearch. Dengan OpenSearch Tanpa Server, mereka dapat dengan mudah beradaptasi dengan kebutuhan skala pelanggan sambil memastikan isolasi penyewa.
Untuk informasi lebih lanjut tentang Alcion, kunjungi mereka situs web.
Tentang Penulis
Zack Rossman adalah Anggota Staf Teknis di Alcion. Dia adalah pemimpin teknologi untuk platform pencarian dan AI. Sebelum di Alcion, Zack adalah Insinyur Perangkat Lunak Senior di Okta, mengembangkan identitas tenaga kerja inti dan produk manajemen akses untuk tim Direktori.
Niraj Jetly adalah Manajer Pengembangan Perangkat Lunak untuk Amazon OpenSearch Tanpa Server. Niraj memimpin beberapa tim bidang data yang bertanggung jawab untuk meluncurkan Amazon OpenSearch Tanpa Server. Sebelum di AWS, Niraj memimpin beberapa tim produk dan teknik sebagai CTO, Wakil Presiden Teknik, dan Kepala Manajemen Produk selama lebih dari 15 tahun. Niraj adalah penerima lebih dari 15 penghargaan inovasi, termasuk dinobatkan sebagai CIO tahun ini pada tahun 2014 dan 100 CIO teratas pada tahun 2013 dan 2016. Sering menjadi pembicara di beberapa konferensi, dia telah dikutip di NPR, WSJ, dan The Boston Globe.
Jon Pengendali adalah Arsitek Solusi Utama Senior di Amazon Web Services yang berbasis di Palo Alto, CA. Jon bekerja sama dengan OpenSearch dan Amazon OpenSearch Service, memberikan bantuan dan panduan kepada berbagai pelanggan yang memiliki beban kerja analitik pencarian dan log yang ingin dipindahkan ke AWS Cloud. Sebelum bergabung dengan AWS, karir Jon sebagai pengembang perangkat lunak termasuk 4 tahun pengkodean mesin pencari e-niaga berskala besar. Jon memegang gelar Bachelor of the Arts dari University of Pennsylvania dan Master of Science dan PhD dalam Ilmu Komputer dan Kecerdasan Buatan dari Northwestern University.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Otomotif / EV, Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- BlockOffset. Modernisasi Kepemilikan Offset Lingkungan. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :memiliki
- :adalah
- $NAIK
- 10
- 100
- 15 tahun
- 15%
- 16
- 2013
- 2014
- 2016
- 2023
- a
- Sanggup
- Tentang Kami
- mengakses
- manajemen akses
- Akun
- tepat
- di seluruh
- menyesuaikan
- Selain itu
- alamat
- administrator
- Mengadopsi
- maju
- Keuntungan
- Setelah
- AI
- Semua
- dialokasikan
- mengizinkan
- diizinkan
- juga
- Meskipun
- Amazon
- Amazon Web Services
- an
- analisis
- analisis
- dan
- deteksi anomali
- api
- Lebah
- pendekatan
- arsitektur
- ADALAH
- buatan
- kecerdasan buatan
- Seni
- AS
- At
- menarik
- Otentikasi
- mobil
- mengotomatisasikan
- secara otomatis
- penghargaan
- AWS
- Baas
- kembali
- backup
- balancing
- berdasarkan
- BE
- karena
- menjadi
- makhluk
- Manfaat
- antara
- Blog
- tubuh
- boston
- kedua
- luas
- beban
- tapi
- by
- CA
- bernama
- CAN
- kemampuan
- kemampuan
- Lowongan Kerja
- kasus
- katalog
- Perubahan
- pilihan
- pilihan
- memilih
- CIO
- klien
- rapat
- awan
- kode
- Pengkodean
- kolaborasi
- koleksi
- koleksi
- Umum
- kompleks
- terdiri
- menghitung
- komputer
- Komputer Ilmu
- Perhatian
- konferensi
- dikonfigurasi
- dianggap
- kontak
- konteks
- kontrol
- kontrol
- Core
- Biaya
- Biaya
- penutup
- membuat
- membuat
- penciptaan
- Surat kepercayaan
- CTO
- pelanggan
- pelanggan
- maya
- dasbor
- data
- akses data
- kehilangan data
- Basis Data
- memutuskan
- dedicated
- Default
- tuntutan
- menyebarkan
- penyebaran
- deskripsi
- Mendesain
- merancang
- rincian
- Deteksi
- Pengembang
- berkembang
- Pengembangan
- direktori
- dokumen
- dokumen
- domain
- domain
- turun
- setiap
- Mudah
- e-commerce
- efisien
- usaha
- diaktifkan
- enkripsi
- Menegakkan
- Mesin
- insinyur
- Teknik
- Insinyur
- memastikan
- memastikan
- kelas perusahaan
- Lingkungan Hidup
- lingkungan
- kesalahan
- kesalahan
- Eter (ETH)
- Bahkan
- Acara
- peristiwa
- berkembang
- contoh
- mengharapkan
- fakta
- Fitur
- File
- terakhir
- Pertama
- Fokus
- berikut
- Untuk
- Depan
- ditemukan
- Prinsip Dasar
- sering
- dari
- penuh
- sepenuhnya
- fungsi
- lebih lanjut
- Selanjutnya
- mendapatkan
- GitHub
- bumi
- beasiswa
- Kelompok
- Tamu
- Blog tamu
- bimbingan
- memiliki
- Memiliki
- he
- kepala
- membantu
- membantu
- memegang
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTML
- http
- HTTPS
- Ratusan
- IAM
- ID
- identitas
- identitas dan manajemen akses
- if
- segera
- melaksanakan
- diimplementasikan
- mengimpor
- memperbaiki
- in
- termasuk
- Termasuk
- Meningkatkan
- indeks
- diindeks
- indeks
- informasi
- mulanya
- mulanya
- Innovation
- penghargaan inovasi
- Intelijen
- Antarmuka
- ke
- diperkenalkan
- isolasi
- IT
- item
- perulangan
- NYA
- bergabung
- jon
- perjalanan
- jpg
- json
- kunci
- besar
- besar-besaran
- jalankan
- peluncuran
- memimpin
- Memimpin
- kebocoran
- Dipimpin
- meninggalkan
- kurang
- Tingkat
- perpustakaan
- siklus hidup
- 'like'
- terkait
- pemuatan
- mencatat
- lepas
- MEMBUAT
- Membuat
- berhasil
- pengelolaan
- manajer
- pelaksana
- manual
- banyak
- menguasai
- Cocok
- Mungkin..
- cara
- berarti
- Pelajari
- anggota
- Metadata
- Metrik
- Microsoft
- Microsoft 365
- bermigrasi
- bermigrasi
- model
- Bulan
- lebih
- paling
- pindah
- banyak
- beberapa
- nama
- Bernama
- perlu
- Perlu
- dibutuhkan
- kebutuhan
- jaringan
- Akses jaringan
- New
- Northwestern University
- Melihat..
- jumlah
- obyek
- of
- Penawaran
- Oke
- on
- Onboarding
- ONE
- hanya
- open source
- beroperasi
- operasional
- Optimize
- mengoptimalkan
- pilihan
- or
- Oss
- di luar
- lebih
- ikhtisar
- sendiri
- kepemilikan
- halaman
- Palo Alto
- Puncak
- Pennsylvania
- untuk
- prestasi
- izin
- Izin
- perspektif
- Platform
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- plugin
- Kebijakan
- kebijaksanaan
- kolam
- Pos
- mencegah
- sebelumnya
- primer
- Utama
- Sebelumnya
- proses
- Produk
- manajemen Produk
- Produksi
- Produk
- Profil
- melindungi
- memberikan
- disediakan
- pemberi
- menyediakan
- ketentuan
- segera
- jarak
- Baca
- Pembaca
- menurunkan
- mengurangi
- Pendaftaran
- dapat diandalkan
- permintaan
- permintaan
- wajib
- Persyaratan
- membutuhkan
- diselesaikan
- sumber
- Sumber
- tanggapan
- tanggung jawab
- mengembalikan
- Hasil
- kembali
- menggunakan kembali
- Peran
- Terguling
- bergulir
- Kamar
- aturan
- sama
- Skalabilitas
- Skala
- skala
- Ilmu
- cakupan
- Pencarian
- mesin pencari
- mencari
- Kedua
- aman
- keamanan
- mengirim
- senior
- Tanpa Server
- layanan
- Layanan
- set
- beberapa
- Share
- berbagi
- Pertunjukkan
- menandatangani
- tertanda
- Tanda
- Sederhana
- tunggal
- Ukuran
- potongan
- So
- Perangkat lunak
- pengembangan perangkat lunak
- Software Engineer
- larutan
- Solusi
- Pembicara
- tertentu
- Secara khusus
- Stabilitas
- stabil
- Staf
- Negara
- Langkah
- penyimpanan
- tersimpan
- Tali
- kuat
- lebih kuat
- rangkaian
- mendukung
- pendukung
- Mendukung
- Mengambil
- diambil
- tim
- tim
- tech
- Teknis
- sementara
- penyewa
- dari
- Terima kasih
- bahwa
- Grafik
- mereka
- Mereka
- Ini
- mereka
- Ketiga
- ini
- ancaman
- tiga
- waktu
- untuk
- bersama
- mengambil
- puncak
- Total
- lalu lintas
- Transaksi
- transaksi per detik
- Berbalik
- pokok
- unit
- universitas
- University of Pennsylvania
- diperbarui
- menggunakan
- gunakan case
- bekas
- Pengguna
- User Interface
- kegunaan
- menggunakan
- kegunaan
- Nilai - Nilai
- melalui
- Mengunjungi
- visualisasi
- vp
- ingin
- adalah
- we
- jaringan
- layanan web
- BAIK
- adalah
- kapan saja
- yang
- sementara
- SIAPA
- seluruh
- dengan
- dalam
- tanpa
- Kerja
- bekerja sama
- Tenaga kerja
- bekerja
- akan
- menulis
- WSJ
- tahun
- tahun
- zephyrnet.dll