In 2022, kami telah memberi tahu Anda tentang peningkatan baru yang kami lakukan Penskalaan Terkelola Amazon EMR, yang membantu meningkatkan pemanfaatan klaster serta mengurangi biaya klaster. Pada tahun 2023, dengan senang hati kami laporkan bahwa tim Amazon EMR telah bekerja keras. Kami bekerja mundur dari kebutuhan pelanggan dan meluncurkan beberapa fitur baru untuk meningkatkan manajemen kapasitas dan pengalaman penskalaan klaster Amazon EMR di EC2 Anda.
Amazon ESDM adalah solusi data besar cloud untuk pemrosesan data berskala petabyte, analisis interaktif, dan pembelajaran mesin (ML) menggunakan kerangka kerja sumber terbuka seperti Apache Spark, Sarang Apache, dan Presto. Pelanggan meminta kami untuk memberikan fitur yang akan lebih meningkatkan manajemen kapasitas dan pengalaman penskalaan EMR mereka pada klaster EC2, termasuk klaster mereka yang besar dan sudah berjalan lama. Kami telah bekerja keras untuk memenuhi kebutuhan tersebut. Berikut ini adalah beberapa peningkatan utama:
- Peningkatan transparansi dan fleksibilitas pelanggan dengan batas waktu penyediaan untuk Instans Spot
- Peningkatan skala node tugas yang dioptimalkan untuk Amazon EMR pada klaster EC2 yang diluncurkan dengan grup instans
- Peningkatan ketahanan kerja dengan peningkatan perlindungan untuk Spark Drivers
Mari selami lebih dalam dan diskusikan fitur Amazon EMR baru di EC2 secara mendetail.
Peningkatan transparansi dan fleksibilitas pelanggan dengan batas waktu penyediaan untuk Instans Spot
Banyak pelanggan Amazon EMR menggunakan Instans Spot EC2 untuk EMR mereka pada klaster EC2 untuk mengurangi biaya. Instans Spot adalah cadangan Cloud komputasi elastis Amazon (Amazon EC2) kapasitas komputasi ditawarkan dengan diskon hingga 90% dibandingkan dengan harga Sesuai Permintaan. Amazon EMR menawarkan Anda kemampuan untuk menskalakan klaster Anda baik secara manual atau dengan menggunakan Penskalaan Otomatis. Anda juga bisa menggunakan Penskalaan Terkelola Amazon EMR fitur untuk secara otomatis mengubah ukuran cluster Anda berdasarkan beban kerja dan pemanfaatan.
Untuk meningkatkan pengalaman pelanggan saat melakukan peningkatan menggunakan Instans Spot, untuk EMR pada klaster EC2 yang diluncurkan menggunakan armada instans, Anda kini dapat menentukan batas waktu penyediaan untuk Instans Spot. Batas waktu penyediaan akan memberitahu Amazon EMR untuk menghentikan penyediaan kapasitas Instans Spot jika klaster melebihi ambang waktu yang ditentukan selama operasi penskalaan klaster. Anda dapat mengonfigurasi batas waktu penyediaan instans Spot untuk klaster yang diubah ukurannya secara manual atau menggunakan Amazon EMR Managed Scaling dan Auto Scaling.
Selain itu, untuk memberikan transparansi yang lebih baik, ketika periode waktu habis berakhir, Amazon EMR juga akan secara otomatis mengirimkan peristiwa ke Acara Amazon CloudWatch sungai kecil. Dengan peristiwa CloudWatch ini, Anda dapat membuat aturan yang mencocokkan peristiwa berdasarkan pola yang ditentukan, lalu mengarahkan peristiwa tersebut ke target untuk mengambil tindakan. Untuk mempelajari lebih lanjut, silakan merujuk ke Sesuaikan periode waktu tunggu penyediaan untuk perubahan ukuran klaster di Amazon EMR.
Temukan pengalaman yang dirangkum di bawah ini untuk skenario yang berbeda ketika Anda mengonfigurasi periode waktu tunggu penyediaan selama pengubahan ukuran untuk klaster Amazon EMR di EC2 Anda
Contoh | Pengalaman |
Amazon EMR dapat menyediakan kapasitas Spot yang diinginkan sebelum berakhirnya batas waktu penyediaan | Amazon EMR secara otomatis meningkatkan skala klaster ke kapasitas yang diinginkan dan tidak diperlukan tindakan apa pun dari pelanggan |
Amazon EMR tidak dapat menyediakan kapasitas Spot apa pun atau hanya dapat menyediakan sebagian kapasitas Spot dan waktu tunggu penyediaan telah habis | Jika Amazon EMR tidak dapat menyediakan kapasitas Spot yang diperlukan dan batas waktu penyediaan telah habis, Amazon EMR akan membatalkan permintaan pengubahan ukuran dan menghentikan upayanya untuk menyediakan kapasitas Spot tambahan. Amazon EMR juga akan mempublikasikan peristiwa ke aliran Amazon CloudWatch Events. Pelanggan dapat menggunakan peristiwa ini untuk membuat aturan dan mengambil tindakan yang sesuai |
Jika instans Spot di klaster Amazon EMR di EC2 Anda terganggu karena Amazon EC2 memerlukannya kembali | Amazon EMR akan secara otomatis memicu permintaan pengubahan ukuran baru untuk menyeimbangkan kembali klaster Anda dengan mengganti instans dengan salah satu jenis yang tersedia di klaster Anda. Amazon EMR juga akan menggunakan batas waktu pengubahan ukuran penyediaan yang sama seperti yang dikonfigurasi pada klaster. Tidak diperlukan tindakan apa pun dari pelanggan. |
Anda harus mempertimbangkan pentingnya ketersediaan kapasitas saat menentukan nilai batas waktu penyediaan:
- Saat ketersediaan kapasitas beban kerja Anda sangat penting - Untuk memastikan kapasitas yang diinginkan tersedia, sebaiknya konfigurasikan batas waktu penyediaan pengubahan ukuran berdasarkan waktu yang diperlukan untuk menjalankan aplikasi dan SLA aplikasi. Misalnya, jika SLA aplikasi adalah 60 menit dan memerlukan waktu 30 menit untuk menyelesaikan aplikasi, Anda harus mengatur batas waktu penyediaan pengubahan ukuran menjadi 30 menit atau kurang. Amazon EMR akan mencoba menyediakan kapasitas Spot hingga batas waktu habis (30 menit atau kurang) dan menerbitkan peristiwa CloudWatch sehingga Anda dapat mengambil tindakan yang sesuai.
- Ketika beban kerja Anda fleksibel terhadap waktu dan ketersediaan kapasitas tidak menjadi faktor - Jika beban kerja fleksibel terhadap waktu dan ketersediaan kapasitas bukan merupakan faktor, untuk memastikan kemungkinan tertinggi untuk mendapatkan kapasitas Spot yang diinginkan, Anda dapat mengonfigurasi nilai batas waktu yang lebih tinggi untuk batas waktu penyediaan pengubahan ukuran.
Peningkatan skala node tugas yang dioptimalkan untuk Amazon EMR pada klaster EC2 yang diluncurkan dengan grup Instance
Grup instans menawarkan pengaturan yang lebih sederhana untuk meluncurkan EMR pada klaster EC2. Setiap klaster yang diluncurkan menggunakan grup instans dapat mencakup hingga 50 grup instans: satu grup instans utama yang berisi satu instans EC2, grup instans inti yang berisi satu atau lebih instans EC2, dan hingga 48 grup instans tugas opsional. Anda dapat menskalakan setiap grup instans dengan menambahkan dan menghapus instans EC2 secara manual, atau Anda dapat mengatur penskalaan otomatis. Anda juga dapat menggunakan fitur Amazon EMR Managed Scaling untuk secara otomatis mengubah ukuran klaster Anda berdasarkan beban kerja dan pemanfaatan.
Untuk meningkatkan pengalaman pelanggan bagi grup instans di EMR pada klaster EC2 saat meningkatkan skala node tugas menggunakan Amazon EMR Managed Scaling, kami telah menyempurnakan algoritme penskalaan terkelola untuk memilih grup instans tugas yang memiliki kemungkinan tertinggi untuk memperoleh kapasitas. Selain itu, ketika penskalaan terkelola tidak dapat memperoleh kapasitas dengan satu grup instans tugas, untuk mengurangi penundaan peningkatan skala apa pun, Amazon EMR akan secara otomatis beralih ke grup tugas lain dan memenuhi kapasitas tersebut dengan menggunakan beberapa grup instans tugas. Akibatnya, semakin fleksibel Anda mengenai jenis instans Anda, semakin tinggi peluang penyediaan kapasitas. Untuk mempelajari lebih lanjut, lihat Misalnya praktik terbaik dan fleksibilitas Availability Zone.
Peningkatan ketahanan kerja dengan peningkatan perlindungan untuk Spark Drivers
In 2022, untuk meningkatkan ketahanan pekerjaan saat menggunakan Amazon EMR Managed Scaling, kami meningkatkan penskalaan terkelola agar peka terhadap data pengacakan Spark, yang mencegah penurunan skala instans yang menyimpan data pengacakan perantara untuk Apache Spark. Hal ini membantu mencegah percobaan ulang dan penghitungan ulang pekerjaan, yang menghasilkan kinerja lebih baik dan biaya lebih rendah.
Untuk lebih meningkatkan ketahanan pekerjaan saat menggunakan Amazon EMR Managed Scaling, kami telah meningkatkan lebih lanjut penskalaan terkelola agar sadar akan Spark Driver, yang memastikan bahwa selama penurunan skala klaster, Amazon EMR Managed Scaling memprioritaskan penurunan skala node yang tidak memiliki Spark Driver aktif yang berjalan pada mereka. Hal ini membantu meminimalkan kegagalan pekerjaan dan percobaan ulang pekerjaan, membantu lebih meningkatkan kinerja dan mengurangi biaya. Peningkatan ini diaktifkan secara default untuk klaster EMR yang menggunakan Amazon EMR versi 5.34.0 dan yang lebih baru, serta Amazon EMR versi 6.4.0 dan yang lebih baru.
Untuk mengonfirmasi node mana di klaster Anda yang menjalankan Spark Driver, Anda dapat mengunjungi Spark History Server dan memfilter driver di Pelaksana tab ID aplikasi Spark Anda.
Kesimpulan
Dalam postingan ini, kami menyoroti peningkatan yang kami lakukan dalam manajemen kapasitas dan Amazon EMR Managed Scaling untuk EMR pada klaster EC2. Kami berfokus pada peningkatan ketahanan pekerjaan, peningkatan fleksibilitas dan transparansi saat menyediakan Instans Spot, dan mengoptimalkan pengalaman peningkatan skala saat menggunakan penskalaan terkelola dengan grup instans di Amazon EMR pada klaster EC2. Meskipun sejauh ini kami telah meluncurkan beberapa fitur pada tahun 2023 dan laju inovasi terus meningkat, ini masih hari pertama dan kami menantikan pendapat Anda tentang bagaimana fitur-fitur ini membantu Anda membuka nilai lebih bagi organisasi Anda. Kami mengundang Anda untuk mencoba fitur baru ini dan menghubungi kami melalui tim akun AWS Anda jika Anda memiliki komentar lebih lanjut.
Tentang penulis
Sushant Majithia adalah Manajer Produk Utama untuk EMR di AWS.
Ankur Goyal adalah SDM di tim Platform Big Data Amazon EMR. Dia membangun aplikasi terdistribusi skala besar dan algoritma optimasi cluster. Ankur tertarik dengan topik Analisis, Pembelajaran Mesin, dan Peramalan.
Matius Liem adalah Manajer Arsitektur Solusi Senior di AWS.
Tarun Chanana adalah SDM di tim Platform Big Data Amazon EMR.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Otomotif / EV, Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- ChartPrime. Tingkatkan Game Trading Anda dengan ChartPrime. Akses Di Sini.
- BlockOffset. Modernisasi Kepemilikan Offset Lingkungan. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- :memiliki
- :adalah
- :bukan
- $NAIK
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- Sanggup
- Tentang Kami
- mempercepat
- Menurut
- Akun
- memperoleh
- mengakuisisi
- Tindakan
- tindakan
- aktif
- menambahkan
- Tambahan
- algoritma
- algoritma
- juga
- Meskipun
- Amazon
- Amazon EC2
- Amazon ESDM
- Amazon Web Services
- an
- analisis
- dan
- Lain
- Apa pun
- Apache
- Apache Spark
- Aplikasi
- aplikasi
- sesuai
- arsitektur
- ADALAH
- AS
- At
- Mencoba
- mobil
- secara otomatis
- secara otomatis
- tersedianya
- tersedia
- sadar
- AWS
- berdasarkan
- BE
- menjadi
- sebelum
- di bawah
- Lebih baik
- Besar
- Big data
- membangun
- by
- CAN
- kemampuan
- Kapasitas
- kesempatan
- Pilih
- awan
- awan data besar
- Kelompok
- komentar
- dibandingkan
- lengkap
- menghitung
- dikonfigurasi
- Memastikan
- Karena itu
- Mempertimbangkan
- mengandung
- terus
- Core
- Biaya
- Biaya
- membuat
- kekritisan
- pelanggan
- pengalaman pelanggan
- pelanggan
- data
- Platform Data
- pengolahan data
- hari
- lebih dalam
- Default
- keterlambatan
- diinginkan
- rinci
- berbeda
- diskon
- membahas
- didistribusikan
- menyelam
- Dont
- pengemudi
- selama
- setiap
- antara
- diaktifkan
- mempertinggi
- ditingkatkan
- peningkatan
- Perangkat tambahan
- memastikan
- Memastikan
- Eter (ETH)
- Acara
- peristiwa
- contoh
- melebihi
- pengalaman
- kedaluwarsa
- faktor
- jauh
- Fitur
- Fitur
- menyaring
- Menemukan
- keluwesan
- fleksibel
- terfokus
- berikut
- Untuk
- Depan
- kerangka
- dari
- Memenuhi
- lebih lanjut
- Selanjutnya
- mendapatkan
- mendapatkan
- Kelompok
- Grup
- senang
- Sulit
- Memiliki
- he
- pendengaran
- membantu
- membantu
- membantu
- membantu
- lebih tinggi
- paling tinggi
- Disorot
- sejarah
- Seterpercayaapakah Olymp Trade? Kesimpulan
- HTML
- http
- HTTPS
- ID
- if
- memperbaiki
- perbaikan
- meningkatkan
- in
- memasukkan
- Termasuk
- Innovation
- contoh
- interaktif
- tertarik
- Menengah
- terganggu
- mengundang
- IT
- Pekerjaan
- kunci
- besar
- kemudian
- jalankan
- diluncurkan
- Memimpin
- BELAJAR
- pengetahuan
- kurang
- kemungkinan
- melihat
- menurunkan
- mesin
- Mesin belajar
- terbuat
- berhasil
- pengelolaan
- manajer
- manual
- Cocok
- Pelajari
- menit
- ML
- lebih
- beberapa
- dibutuhkan
- kebutuhan
- New
- Fitur Baru
- tidak
- node
- sekarang
- of
- menawarkan
- ditawarkan
- Penawaran
- on
- Sesuai Permintaan
- ONE
- hanya
- open source
- Operasi
- optimasi
- mengoptimalkan
- or
- organisasi
- Perdamaian
- pola
- prestasi
- periode
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- silahkan
- Pos
- praktek
- mencegah
- di harga
- primer
- Utama
- pengolahan
- Produk
- manajer produk
- perlindungan
- memberikan
- ketentuan
- menerbitkan
- menyeimbangkan
- sarankan
- menurunkan
- mengurangi
- lihat
- sisa
- menghapus
- melaporkan
- permintaan
- wajib
- Persyaratan
- Rute
- aturan
- Run
- berjalan
- sama
- Skala
- meningkatkan
- skala
- SDM
- mengirim
- senior
- Layanan
- set
- penyiapan
- harus
- kocokan
- tunggal
- So
- sejauh ini
- larutan
- beberapa
- percikan
- ditentukan
- Spot
- berhenti
- Berhenti
- menyimpan
- aliran
- seperti itu
- Beralih
- Mengambil
- Dibutuhkan
- target
- tugas
- tim
- mengatakan
- bahwa
- Grafik
- mereka
- Mereka
- kemudian
- Ini
- ini
- itu
- ambang
- Melalui
- waktu
- untuk
- Topik
- menyentuh
- Transparansi
- memicu
- mencoba
- jenis
- membuka kunci
- sampai
- us
- menggunakan
- menggunakan
- nilai
- Mengunjungi
- adalah
- we
- jaringan
- layanan web
- BAIK
- ketika
- yang
- akan
- dengan
- Kerja
- bekerja
- akan
- kamu
- Anda
- zephyrnet.dll