Este é um post de blog convidado co-escrito com Zack Rossman de Alcion.
Alcion, uma plataforma de backup como serviço (BaaS) voltada para a segurança em primeiro lugar, ajuda os administradores do Microsoft 365 a proteger os dados de forma rápida e intuitiva contra ameaças cibernéticas e perda acidental de dados. Em caso de perda de dados, os clientes Alcion precisam pesquisar metadados para os itens de backup (arquivos, e-mails, contatos, eventos e assim por diante) para selecionar versões de itens específicos para restauração. Alcion usa Serviço Amazon OpenSearch para fornecer a seus clientes capacidade de pesquisa precisa, eficiente e confiável neste catálogo de backup. A plataforma é multi-inquilino, o que significa que a Alcion requer isolamento de dados e forte segurança para garantir que os inquilinos possam pesquisar apenas seus próprios dados.
O OpenSearch Service é um serviço totalmente gerenciado que facilita a implantação, escala e operação do OpenSearch na Nuvem AWS. O OpenSearch é um conjunto de pesquisa e análise de código aberto licenciado pela Apache-2.0, incluindo OpenSearch (uma pesquisa, mecanismo de análise e banco de dados vetorial), OpenSearch Dashboards (uma interface de usuário de visualização e utilitário) e plug-ins que fornecem recursos avançados, como segurança de alto nível, detecção de anomalias, observabilidade, alertas e muito mais. Amazon OpenSearch sem servidor é uma opção de implantação sem servidor que simplifica o uso do OpenSearch sem configurar, gerenciar e dimensionar os domínios do OpenSearch Service.
Nesta postagem, compartilhamos como a adoção do OpenSearch Serverless permitiu que a Alcion atendesse aos requisitos de escala, reduzisse a sobrecarga operacional e protegesse os dados dos locatários, aplicando isolamento do inquilino em seu ambiente multilocatário.
Domínios gerenciados do Serviço OpenSearch
Para a primeira iteração de sua arquitetura de pesquisa, a Alcion escolheu a opção de implementação de domínios gerenciados no OpenSearch Service e conseguiu lançar sua funcionalidade de pesquisa em produção em menos de um mês. Para atender aos requisitos de segurança, escala e locação, eles armazenaram dados para cada inquilino em um índice dedicado e usaram controle de acesso refinado no serviço OpenSearch para evitar vazamentos de dados entre locatários. À medida que sua carga de trabalho evoluiu, os engenheiros da Alcion rastrearam a utilização do domínio OpenSearch por meio do Amazon CloudWatch métricas, fazendo alterações para aumentar o armazenamento e otimizar seus recursos de computação.
A equipe da Alcion usou vários recursos de domínios gerenciados do serviço OpenSearch para melhorar sua postura operacional. Eles introduziram aliases de índice, que fornecem um único nome de alias para acessar (ler e gravar) vários índices subjacentes. Eles também configuraram Gerenciamento de estado do índice (ISM) para ajudá-los a controlar seu ciclo de vida de dados, rolando índices com base no tamanho do índice. Juntos, as políticas ISM e os aliases de índice eram necessários para dimensionar índices para grandes locatários. Alcion também usou modelos de índice definir os shards por índice (particionamento) de seus dados para automatizar seu ciclo de vida de dados e melhorar o desempenho e a estabilidade de seus domínios.
O diagrama de arquitetura a seguir mostra como Alcion configurou seus domínios gerenciados OpenSearch.
O diagrama a seguir mostra como os dados do Microsoft 365 foram indexados e consultados de índices específicos do locatário. A Alcion implementou a autenticação de solicitação fornecendo as credenciais de usuário principal do OpenSearch com cada solicitação de API.
Visão geral do OpenSearch Serverless e opções de modelo de locação
Os domínios gerenciados do OpenSearch Service forneciam uma base estável para a funcionalidade de pesquisa da Alcion, mas a equipe precisava provisionar recursos manualmente para os domínios para sua carga de trabalho de pico. Isso deixou espaço para otimizações de custo porque a carga de trabalho da Alcion é intensa – há grandes variações no número de transações de pesquisa e indexação por segundo, tanto para um único cliente quanto para o todo. Para reduzir os custos e a carga operacional, a equipe optou pelo OpenSearch Serverless, que oferece capacidade de escalonamento automático.
Para usar o OpenSearch Serverless, a primeira etapa é criar uma coleção. A coleção é um grupo de índices OpenSearch que trabalham juntos para dar suporte a uma carga de trabalho ou caso de uso específico. Os recursos de computação para uma coleção, chamados OpenSearch Compute Units (OCUs), são compartilhados entre todas as coleções em uma conta que compartilha uma chave de criptografia. O pool de OCUs é automaticamente ampliado e reduzido para atender às demandas de indexação e tráfego de pesquisa.
O nível de esforço necessário para migrar de um domínio gerenciado do OpenSearch Service para o OpenSearch Serverless era gerenciável graças ao fato de que as coleções OpenSearch Serverless suportam as mesmas APIs e bibliotecas do OpenSearch que os domínios gerenciados do OpenSearch Service. Isso permitiu que Alcion se concentrasse na otimização do modelo de locação para a nova arquitetura de pesquisa. Especificamente, a equipe precisava decidir como particionar os dados do inquilino em coleções e índices, equilibrando a segurança e o custo total de propriedade. Os engenheiros da Alcion, em colaboração com a equipe OpenSearch Serverless, considerou três modelos de locação:
- Modelo de silo: crie uma coleção para cada inquilino
- Modelo de pool: crie uma única coleção e use um único índice para vários locatários
- Modelo de ponte: crie uma única coleção e use um único índice por inquilino
Todas as três opções de projeto tiveram benefícios e compensações que tiveram que ser considerados para projetar a solução final.
Modelo de silo: crie uma coleção para cada inquilino
Nesse modelo, Alcion criaria uma nova coleção sempre que um novo cliente entrasse em sua plataforma. Embora os dados do inquilino fossem claramente separados entre as coleções, essa opção foi desqualificada porque o tempo de criação da coleção significava que os clientes não poderiam fazer backup e pesquisar dados imediatamente após o registro.
Modelo de pool: crie uma única coleção e use um único índice para vários locatários
Nesse modelo, Alcion criaria uma única coleção por conta da AWS e indexaria dados específicos do inquilino em um dos muitos índices compartilhados pertencentes a essa coleção. Inicialmente, agrupar dados de locatários em índices compartilhados era atraente do ponto de vista da escala porque isso levava ao uso mais eficiente dos recursos de índice. Mas, após uma análise mais aprofundada, Alcion descobriu que eles estariam bem dentro da cota de índice por coleção, mesmo que alocassem um índice para cada inquilino. Com essa preocupação de escalabilidade resolvida, Alcion buscou a terceira opção porque isolar os dados do inquilino em índices dedicados resulta em um isolamento do inquilino mais forte do que o modelo de índice compartilhado.
Modelo de ponte: crie uma única coleção e use um único índice por inquilino
Nesse modelo, Alcion criaria uma única coleção por conta da AWS e criaria um índice para cada uma das centenas de inquilinos gerenciados por essa conta. Ao atribuir cada inquilino a um índice dedicado e agrupar esses índices em uma única coleção, a Alcion reduziu o tempo de integração para novos inquilinos e silou os dados dos inquilinos em compartimentos bem separados.
Implementando o controle de acesso baseado em função para dar suporte à multilocação
O OpenSearch Serverless oferece um conjunto herdável de controles de segurança multiponto, abrangendo acesso a dados, acesso à rede e criptografia. Alcion aproveitou ao máximo o OpenSearch Serverless políticas de acesso a dados para implementar o controle de acesso baseado em função (RBAC) para cada índice específico do inquilino com os seguintes detalhes:
- Aloque um índice com um prefixo comum e o ID do locatário (por exemplo,
index-v1-<tenantID>
) - Crie um dedicado Gerenciamento de acesso e identidade da AWS (IAM) que é usada para assinar solicitações para a coleção OpenSearch Serverless
- Crie uma política de acesso a dados OpenSearch sem servidor que conceda permissões de leitura/gravação de documento em um índice de inquilino dedicado para a função IAM desse inquilino
- As solicitações da API OpenSearch para um índice de locatário são assinadas com credenciais temporárias pertencentes à função IAM específica do locatário
Veja a seguir um exemplo de política de acesso a dados sem servidor do OpenSearch para um locatário fictício com ID t-eca0acc1-12345678910
. Essa política concede ao documento de função do IAM acesso de leitura/gravação ao acesso de locatário dedicado.
O diagrama de arquitetura a seguir descreve como Alcion implementou a indexação e pesquisa de recursos do Microsoft 365 usando a abordagem de coleta compartilhada sem servidor OpenSearch.
A seguir está o trecho de código de amostra para enviar uma solicitação de API para uma coleção OpenSearch Serverless. Observe como o cliente da API é inicializado com um objeto signatário que assina solicitações com o mesmo principal IAM vinculado à política de acesso a dados sem servidor OpenSearch do trecho de código anterior.
Conclusão
Em maio de 2023, a Alcion lançou sua arquitetura de pesquisa com base na coleção compartilhada e no modelo de índice por inquilino dedicado em todos os ambientes de produção e pré-produção. A equipe foi capaz de separar códigos complexos e processos operacionais dedicados ao dimensionamento de domínios gerenciados do OpenSearch Service. Além disso, graças aos recursos de dimensionamento automático do OpenSearch Serverless, a Alcion reduziu seus custos do OpenSearch em 30% e espera que o perfil de custo seja dimensionado favoravelmente.
Em sua jornada do OpenSearch Service gerenciado para o sem servidor, a Alcion se beneficiou de sua escolha inicial de domínios gerenciados do OpenSearch Service. Ao migrar para frente, eles puderam reutilizar as mesmas APIs e bibliotecas do OpenSearch para suas coleções OpenSearch Serverless que eles usaram para seu domínio gerenciado do OpenSearch Service. Além disso, eles atualizaram seu modelo de locação para aproveitar as políticas de acesso a dados sem servidor OpenSearch. Com o OpenSearch Serverless, eles conseguiram se adaptar sem esforço às necessidades de escala de seus clientes, garantindo o isolamento do locatário.
Para mais informações sobre Alcion, visite o site site do Network Development Group.
Sobre os autores
Zack Rossman é membro da equipe técnica da Alcion. Ele é o líder técnico das plataformas de pesquisa e IA. Antes da Alcion, Zack foi Engenheiro de Software Sênior na Okta, desenvolvendo produtos básicos de gerenciamento de acesso e identidade da força de trabalho para a equipe de Diretórios.
Niraj Jetly é gerente de desenvolvimento de software para Amazon OpenSearch Serverless. Niraj lidera várias equipes de planos de dados responsáveis pelo lançamento do Amazon OpenSearch Serverless. Antes da AWS, Niraj liderou várias equipes de produtos e engenharia como CTO, vice-presidente de engenharia e chefe de gerenciamento de produtos por mais de 15 anos. Niraj recebeu mais de 15 prêmios de inovação, incluindo ser nomeado CIO do ano em 2014 e 100 melhores CIO em 2013 e 2016. Palestrante frequente em várias conferências, ele foi citado na NPR, WSJ e The Boston Globe.
Jon Handler é Arquiteto Principal Sênior de Soluções da Amazon Web Services com sede em Palo Alto, CA. Jon trabalha de perto com OpenSearch e Amazon OpenSearch Service, fornecendo ajuda e orientação para uma ampla gama de clientes que têm cargas de trabalho de pesquisa e análise de log que desejam mover para a Nuvem AWS. Antes de ingressar na AWS, a carreira de Jon como desenvolvedor de software incluiu 4 anos de codificação de um mecanismo de pesquisa de comércio eletrônico em larga escala. Jon é bacharel em Artes pela Universidade da Pensilvânia e mestre em Ciências e PhD em Ciência da Computação e Inteligência Artificial pela Northwestern University.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Automotivo / EVs, Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- BlockOffsets. Modernizando a Propriedade de Compensação Ambiental. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :tem
- :é
- $UP
- 10
- 100
- 15 anos
- 15%
- 16
- 2013
- 2014
- 2016
- 2023
- a
- Capaz
- Sobre
- Acesso
- gerenciamento de acesso
- Conta
- preciso
- em
- adaptar
- Adicionalmente
- endereços
- administradores
- Adotando
- avançado
- Vantagem
- Depois de
- AI
- Todos os Produtos
- alocado
- permitir
- permitidas
- tb
- Apesar
- Amazon
- Amazon Web Services
- an
- análise
- analítica
- e
- detecção de anomalia
- api
- APIs
- abordagem
- arquitetura
- SOMOS
- artificial
- inteligência artificial
- Artes
- AS
- At
- atraente
- Autenticação
- auto
- automatizar
- automaticamente
- prêmios
- AWS
- BaaS
- em caminho duplo
- backup
- equilíbrio
- baseado
- BE
- Porque
- sido
- ser
- Benefícios
- entre
- Blog
- corpo
- Boston
- ambos
- amplo
- carga
- mas a
- by
- CA
- chamado
- CAN
- capacidades
- capacidade
- Oportunidades
- casas
- catálogo
- Alterações
- escolha
- escolhas
- escolheu
- CIO
- cliente
- de perto
- Na nuvem
- código
- Codificação
- colaboração
- coleção
- coleções
- comum
- integrações
- composta
- Computar
- computador
- Ciência da Computação
- Interesse
- conferências
- configurado
- considerado
- contatos
- contexto
- ao controle
- controles
- núcleo
- Custo
- custos
- cobertura
- crio
- Criar
- criação
- Credenciais
- CTO
- cliente
- Clientes
- cibernético
- painéis
- dados,
- acesso a dados
- Perda de Dados
- banco de dados
- decidir
- dedicado
- Padrão
- demandas
- implantar
- desenvolvimento
- descrição
- Design
- concepção
- detalhes
- Detecção
- Developer
- em desenvolvimento
- Desenvolvimento
- diretórios
- documento
- INSTITUCIONAIS
- domínio
- domínios
- down
- cada
- fácil
- Loja virtual
- eficiente
- esforço
- e-mails
- habilitado
- criptografia
- impor
- Motor
- engenheiro
- Engenharia
- Engenheiros
- garantir
- assegurando
- de nível empresarial
- Meio Ambiente
- ambientes
- erro
- erros
- Éter (ETH)
- Mesmo
- Evento
- eventos
- evoluiu
- exemplo
- espera
- fato
- Funcionalidades
- Arquivos
- final
- Primeiro nome
- Foco
- seguinte
- Escolha
- para a frente
- encontrado
- Foundation
- freqüente
- da
- cheio
- totalmente
- funcionalidade
- mais distante
- Além disso
- obtendo
- GitHub
- globo
- subsídios
- Grupo
- Locatário
- Blog convidado
- orientações
- tinha
- Ter
- he
- cabeça
- ajudar
- ajuda
- detém
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTML
- http
- HTTPS
- Centenas
- IAM
- ID
- Identidade
- gerenciamento de identidade e acesso
- if
- imediatamente
- executar
- implementado
- importar
- melhorar
- in
- incluído
- Incluindo
- Crescimento
- índice
- indexado
- índices
- INFORMAÇÕES
- do estado inicial,
- inicialmente
- Inovação
- prêmios de inovação
- Inteligência
- Interface
- para dentro
- introduzido
- isolamento
- IT
- Unid
- iteração
- ESTÁ
- juntando
- jon
- viagem
- jpg
- json
- Chave
- grande
- em grande escala
- lançamento
- de lançamento
- conduzir
- Leads
- Vazamentos
- levou
- esquerda
- menos
- Nível
- bibliotecas
- wifecycwe
- como
- ligado
- carregamento
- log
- fora
- FAZ
- Fazendo
- gerenciados
- de grupos
- Gerente
- gestão
- manualmente
- muitos
- dominar
- Match
- Posso..
- significa
- significava
- Conheça
- membro
- metadados
- Métrica
- Microsoft
- Microsoft 365
- migrado
- migrando
- modelo
- Mês
- mais
- a maioria
- mover
- muito
- múltiplo
- nome
- Nomeado
- necessário
- você merece...
- necessário
- Cria
- rede
- Acesso à rede
- Novo
- Northwestern University
- Perceber..
- número
- objeto
- of
- Oferece
- OKTA
- on
- Onboarding
- ONE
- só
- open source
- operar
- operacional
- Otimize
- otimizando
- Opção
- or
- Oss
- Fora
- Acima de
- Visão geral
- próprio
- propriedade
- página
- Palo Alto
- Pico
- Pennsylvania
- para
- atuação
- permissão
- permissões
- perspectiva
- plataforma
- Plataformas
- platão
- Inteligência de Dados Platão
- PlatãoData
- plugins
- políticas
- Privacidade
- piscina
- Publique
- evitar
- anterior
- primário
- Diretor
- Prévio
- processos
- Produto
- gestão de produtos
- Produção
- Produtos
- Perfil
- proteger
- fornecer
- fornecido
- provedor
- fornecendo
- provisão
- rapidamente
- alcance
- Leia
- Leitor
- reduzir
- Reduzido
- Registo
- confiável
- solicitar
- pedidos
- requeridos
- Requisitos
- exige
- resolvidas
- recurso
- Recursos
- resposta
- responsável
- restaurar
- Resultados
- retorno
- reutilizar
- Tipo
- Enrolado
- rolando
- Quarto
- regras
- mesmo
- AMPLIAR
- Escala
- dimensionamento
- Ciência
- escopo
- Pesquisar
- motor de busca
- pesquisar
- Segundo
- seguro
- segurança
- envio
- senior
- Serverless
- serviço
- Serviços
- conjunto
- vários
- Partilhar
- compartilhado
- Shows
- assinar
- assinado
- Sinais
- simples
- solteiro
- Tamanho
- fragmento
- So
- Software
- desenvolvimento de software
- Engenheiro de Software
- solução
- Soluções
- Palestrantes
- específico
- especificamente
- Estabilidade
- estável
- Staff
- Estado
- Passo
- armazenamento
- armazenadas
- Tanga
- mais forte,
- mais forte
- suíte
- ajuda
- Apoiar
- suportes
- Tire
- tomado
- Profissionais
- equipes
- tecnologia
- Dados Técnicos:
- temporário
- inquilino
- do que
- obrigado
- que
- A
- deles
- Eles
- Este
- deles
- Terceiro
- isto
- ameaças
- três
- tempo
- para
- juntos
- levou
- topo
- Total
- tráfego
- Transações
- transações por segundo
- Virado
- subjacente
- unidades
- universidade
- Universidade da Pensilvânia
- Atualizada
- usar
- caso de uso
- usava
- Utilizador
- Interface de Usuário
- usos
- utilização
- utilidade
- Valores
- via
- Visite a
- visualização
- vp
- queremos
- foi
- we
- web
- serviços web
- BEM
- foram
- sempre que
- qual
- enquanto
- QUEM
- inteiro
- de
- dentro
- sem
- Atividades:
- trabalhar juntos
- Força de trabalho
- trabalho
- seria
- escrever
- WSJ
- ano
- anos
- zefirnet