In 2022, falamos sobre as novas melhorias que fizemos em Dimensionamento gerenciado do Amazon EMR, o que ajudou a melhorar a utilização do cluster, bem como a reduzir os custos do cluster. Em 2023, temos o prazer de informar que a equipe do Amazon EMR tem trabalhado arduamente. Trabalhamos retroativamente a partir dos requisitos do cliente e lançamos vários novos recursos para aprimorar sua experiência de gerenciamento de capacidade e escalabilidade do Amazon EMR em clusters EC2.
Amazon EMR é a solução de big data na nuvem para processamento de dados em escala de petabytes, análises interativas e aprendizado de máquina (ML) usando estruturas de código aberto, como Apache Spark, Colmeia Apache e Presto. Os clientes nos solicitaram recursos que melhorariam ainda mais o gerenciamento de capacidade e a experiência de escalonamento de seu EMR em clusters EC2, incluindo clusters grandes e de longa duração. Temos trabalhado arduamente para atender a essas necessidades. A seguir estão algumas das principais melhorias:
- Transparência e flexibilidade aprimoradas para o cliente com tempo limite de provisionamento para instâncias spot
- Escalabilidade vertical otimizada de nós de tarefas para Amazon EMR em clusters EC2 lançados com grupos de instâncias
- Resiliência de trabalho aprimorada com proteção aprimorada para Spark Drivers
Vamos nos aprofundar e discutir detalhadamente os novos recursos do Amazon EMR no EC2.
Transparência e flexibilidade aprimoradas para o cliente com tempo limite de provisionamento para instâncias spot
Muitos clientes do Amazon EMR usam Instâncias spot EC2 para seu EMR em clusters EC2 para reduzir custos. As instâncias spot são sobressalentes Amazon Elastic Compute Nuvem (Amazon EC2) capacidade de computação oferecida com descontos de até 90% em comparação com preços sob demanda. O Amazon EMR oferece a capacidade de dimensionar seu cluster manualmente ou usando Dimensionamento Automático. Você também pode usar o Dimensionamento gerenciado do Amazon EMR recurso para redimensionar automaticamente seu cluster com base na carga de trabalho e na utilização.
Para aprimorar a experiência do cliente ao expandir usando instâncias spot, para EMR em clusters EC2 iniciados usando frotas de instâncias, agora você pode especificar um tempo limite de provisionamento para instâncias spot. Um tempo limite de provisionamento instruirá o Amazon EMR a interromper o provisionamento da capacidade da instância spot se o cluster exceder um limite de tempo especificado durante as operações de escalabilidade do cluster. Você pode configurar o tempo limite de provisionamento de instâncias spot para clusters sendo redimensionados manualmente ou usando Amazon EMR Managed Scaling e Auto Scaling.
Além disso, para proporcionar maior transparência, quando o período de tempo limite expirar, o Amazon EMR também enviará eventos automaticamente para um Eventos do Amazon CloudWatch fluxo. Com esses eventos do CloudWatch, você pode criar regras que correspondam aos eventos de acordo com um padrão especificado e, em seguida, rotear os eventos para que os destinos tomem medidas. Para saber mais, consulte Personalize um período de tempo limite de provisionamento para redimensionamento de cluster no Amazon EMR.
Encontre abaixo um resumo da experiência para diferentes cenários ao configurar um período de tempo limite de provisionamento durante o redimensionamento do Amazon EMR no cluster do EC2
Cenário | Experiência |
O Amazon EMR é capaz de provisionar a capacidade spot desejada antes do término do tempo limite de provisionamento | O Amazon EMR amplia automaticamente o cluster até a capacidade desejada e nenhuma ação é necessária por parte do cliente |
O Amazon EMR não consegue provisionar nenhuma capacidade spot ou apenas provisiona capacidade spot parcial e o tempo limite de provisionamento expirou | Se o Amazon EMR não puder provisionar a capacidade spot necessária e o tempo limite de provisionamento tiver expirado, o Amazon EMR cancelará a solicitação de redimensionamento e interromperá suas tentativas de provisionar capacidade spot adicional. O Amazon EMR também publicará eventos em um stream do Amazon CloudWatch Events. Os clientes podem usar esses eventos para criar regras e tomar as ações apropriadas |
Se as instâncias spot em clusters do Amazon EMR em EC2 forem interrompidas porque o Amazon EC2 precisa delas de volta | O Amazon EMR acionará automaticamente uma nova solicitação de redimensionamento para reequilibrar seus clusters, substituindo instâncias por qualquer um dos tipos disponíveis em seu cluster. O Amazon EMR também usará o mesmo tempo limite de redimensionamento de provisionamento configurado no cluster. Nenhuma ação é necessária por parte do cliente. |
Você deve considerar a importância da disponibilidade de capacidade ao especificar o valor do tempo limite de provisionamento:
- Quando a disponibilidade da capacidade da sua carga de trabalho é crítica - Para garantir que a capacidade desejada esteja disponível, recomendamos configurar o tempo limite de provisionamento de redimensionamento com base no tempo necessário para executar o aplicativo e os SLAs do aplicativo. Por exemplo, se o SLA do aplicativo for de 60 minutos e levar 30 minutos para o aplicativo ser concluído, você deverá definir o tempo limite de provisionamento de redimensionamento para 30 minutos ou menos. O Amazon EMR tentará provisionar a capacidade spot até que o tempo limite expire (30 minutos ou menos) e publicará um evento do CloudWatch para que você possa tomar as ações apropriadas.
- Quando sua carga de trabalho é flexível em termos de tempo e a disponibilidade de capacidade não é um fator - Se a carga de trabalho for flexível em termos de tempo e a disponibilidade de capacidade não for um fator, para garantir a maior probabilidade de obter a capacidade spot desejada, você poderá configurar um valor de tempo limite mais alto para o tempo limite de provisionamento de redimensionamento.
Escalabilidade vertical otimizada de nós de tarefa para Amazon EMR em clusters EC2 lançados com grupos de instâncias
Os grupos de instâncias oferecem uma configuração mais simples para iniciar o EMR em clusters EC2. Cada cluster iniciado usando grupos de instâncias pode incluir até 50 grupos de instâncias: um grupo de instâncias principal que contém uma instância do EC2, um grupo de instâncias principal que contém uma ou mais instâncias do EC2 e até 48 grupos de instâncias de tarefas opcionais. Você pode dimensionar cada grupo de instâncias adicionando e removendo instâncias do EC2 manualmente ou pode configurar o dimensionamento automático. Você também pode usar o recurso Amazon EMR Managed Scaling para redimensionar automaticamente seu cluster com base na carga de trabalho e na utilização.
Para aprimorar a experiência do cliente para grupos de instâncias no EMR em clusters EC2 ao ampliar nós de tarefas usando o Amazon EMR Managed Scaling, aprimoramos o algoritmo de escalabilidade gerenciada para escolher os grupos de instâncias de tarefas que têm a maior probabilidade de adquirir capacidade. Além disso, quando a escalabilidade gerenciada não for capaz de adquirir capacidade com um único grupo de instâncias de tarefas, para reduzir quaisquer atrasos de expansão, o Amazon EMR mudará automaticamente para outro grupo de tarefas e preencherá a capacidade usando vários grupos de instâncias de tarefas. Conseqüentemente, quanto mais flexível você for em relação aos tipos de instância, maiores serão as chances de provisionamento de capacidade. Para saber mais, consulte Melhores práticas por exemplo e flexibilidade da zona de disponibilidade.
Resiliência de trabalho aprimorada com proteção aprimorada para Spark Drivers
In 2022, para melhorar a resiliência do trabalho ao usar o Amazon EMR Managed Scaling, aprimoramos o dimensionamento gerenciado para reconhecer os dados embaralhados do Spark, o que evita a redução de instâncias que armazenam dados embaralhados intermediários para o Apache Spark. Isso ajuda a evitar novas tentativas e recomputações de trabalho, o que leva a um melhor desempenho e a custos mais baixos.
Para melhorar ainda mais a resiliência do trabalho ao usar o Amazon EMR Managed Scaling, aprimoramos ainda mais o dimensionamento gerenciado para ser compatível com o Spark Driver, o que garante que durante a redução do cluster, o Amazon EMR Managed Scaling prioriza a redução de nós que não têm um Spark Driver ativo em execução neles. Isso ajuda a minimizar falhas e novas tentativas de trabalho, ajudando a melhorar ainda mais o desempenho e a reduzir custos. Essa melhoria é habilitada por padrão para clusters do EMR que usam versões 5.34.0 e posteriores do Amazon EMR e versões 6.4.0 e posteriores do Amazon EMR.
Para confirmar quais nós em seu cluster estão executando o Spark Driver, você pode visitar o Spark History Server e filtrar o driver na página Executores guia do ID do seu aplicativo Spark.
Conclusão
Nesta postagem, destacamos as melhorias que fizemos no gerenciamento de capacidade e no Amazon EMR Managed Scaling para EMR em clusters EC2. Nosso foco foi melhorar a resiliência do trabalho, aumentar a flexibilidade e a transparência ao provisionar instâncias spot e otimizar a experiência de expansão ao usar a escalabilidade gerenciada com grupos de instâncias no Amazon EMR em clusters do EC2. Embora tenhamos lançado vários recursos até agora em 2023 e o ritmo da inovação continue a acelerar, ainda é o primeiro dia e estamos ansiosos para ouvir sua opinião sobre como esses recursos ajudam você a gerar mais valor para suas organizações. Convidamos você a experimentar esses novos recursos e entrar em contato conosco por meio de sua equipe de contas da AWS se tiver mais comentários.
Sobre os autores
Sushant Majithia é gerente principal de produtos de EMR na AWS.
Ankur Goyal é um SDM da equipe da plataforma de big data do Amazon EMR. Ele constrói aplicativos distribuídos em larga escala e algoritmos de otimização de cluster. Ankur está interessado em tópicos de Analytics, Machine Learning e Forecasting.
Mateus Liem é gerente sênior de arquitetura de soluções da AWS.
Tarun Chanana é um SDM da equipe da plataforma de big data do Amazon EMR.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Automotivo / EVs, Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- ChartPrime. Eleve seu jogo de negociação com ChartPrime. Acesse aqui.
- BlockOffsets. Modernizando a Propriedade de Compensação Ambiental. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- :tem
- :é
- :não
- $UP
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- Capaz
- Sobre
- acelerar
- Segundo
- Conta
- adquirir
- aquisição de
- Açao Social
- ações
- ativo
- acrescentando
- Adicional
- algoritmo
- algoritmos
- tb
- Apesar
- Amazon
- Amazon EC2
- Amazon EMR
- Amazon Web Services
- an
- analítica
- e
- Outro
- qualquer
- apache
- Apache Spark
- Aplicação
- aplicações
- apropriado
- arquitetura
- SOMOS
- AS
- At
- Tentativas
- auto
- Automático
- automaticamente
- disponibilidade
- disponível
- consciente
- AWS
- baseado
- BE
- sido
- antes
- abaixo
- Melhor
- Grande
- Big Data
- Constrói
- by
- CAN
- capacidade
- Capacidade
- chances
- Escolha
- Na nuvem
- big data na nuvem
- Agrupar
- comentários
- comparado
- completar
- Computar
- configurado
- Confirmar
- Consequentemente
- Considerar
- contém
- continua
- núcleo
- Custo
- custos
- crio
- criticamente
- cliente
- experiência do cliente
- Clientes
- dados,
- Plataforma de dados
- informática
- dia
- mais profunda
- Padrão
- atrasos
- desejado
- detalhe
- diferente
- descontos
- discutir
- distribuído
- mergulho
- não
- motorista
- durante
- cada
- ou
- habilitado
- aumentar
- aprimorada
- aprimoramento
- Melhorias
- garantir
- garante
- Éter (ETH)
- Evento
- eventos
- exemplo
- excede
- vasta experiência
- expiração
- fator
- longe
- Característica
- Funcionalidades
- filtro
- Encontre
- Flexibilidade
- flexível
- focado
- seguinte
- Escolha
- para a frente
- enquadramentos
- da
- Cumprir
- mais distante
- Além disso
- ter
- obtendo
- Grupo
- Do grupo
- feliz
- Queijos duros
- Ter
- he
- audição
- ajudar
- ajudou
- ajuda
- ajuda
- superior
- mais
- Destaque
- história
- Como funciona o dobrador de carta de canal
- HTML
- http
- HTTPS
- ID
- if
- melhorar
- melhorias
- melhorar
- in
- incluir
- Incluindo
- Inovação
- instância
- interativo
- interessado
- Nível intermediário
- interrompido
- convidar
- IT
- Trabalho
- Chave
- grande
- mais tarde
- lançamento
- lançado
- Leads
- APRENDER
- aprendizagem
- menos
- probabilidade
- olhar
- diminuir
- máquina
- aprendizado de máquina
- moldadas
- gerenciados
- de grupos
- Gerente
- manualmente
- Match
- Conheça
- minutos
- ML
- mais
- múltiplo
- necessário
- Cria
- Novo
- Novos Recursos
- não
- nós
- agora
- of
- oferecer
- oferecido
- Oferece
- on
- Sob demanda
- ONE
- só
- open source
- Operações
- otimização
- otimizando
- or
- organizações
- Paz
- padrão
- atuação
- significativo
- plataforma
- platão
- Inteligência de Dados Platão
- PlatãoData
- por favor
- Publique
- práticas
- impede
- preços
- primário
- Diretor
- em processamento
- Produto
- gerente de produto
- proteção
- fornecer
- provisão
- publicar
- reequilibrar
- recomendar
- reduzir
- Reduzido
- referir
- permanece
- removendo
- Denunciar
- solicitar
- requeridos
- Requisitos
- Rota
- regras
- Execute
- corrida
- mesmo
- Escala
- aumento de escala
- dimensionamento
- SDM
- enviar
- senior
- Serviços
- conjunto
- instalação
- rede de apoio social
- embaralhar
- solteiro
- So
- até aqui
- solução
- alguns
- Faísca
- especificada
- Spot
- Dê um basta
- Pára
- loja
- transmitir canais
- tal
- Interruptor
- Tire
- toma
- tem como alvo
- Tarefa
- Profissionais
- dizer
- que
- A
- deles
- Eles
- então
- Este
- isto
- aqueles
- limiar
- Através da
- tempo
- para
- Temas
- tocar
- Transparência
- desencadear
- tentar
- tipos
- destravar
- até
- us
- usar
- utilização
- valor
- Visite a
- foi
- we
- web
- serviços web
- BEM
- quando
- qual
- precisarão
- de
- Atividades:
- trabalhou
- seria
- Você
- investimentos
- zefirnet