Dịch vụ Tìm kiếm Mở của Amazon gần đây đã giới thiệu Multi-AZ với Chế độ chờ, một tùy chọn triển khai được thiết kế để cung cấp cho doanh nghiệp khả năng sẵn sàng nâng cao và hiệu suất ổn định cho khối lượng công việc quan trọng. Với tính năng này, các cụm được quản lý có thể đạt được độ sẵn sàng 99.99% trong khi vẫn có khả năng phục hồi trước các lỗi cơ sở hạ tầng khu vực.
Trong bài đăng này, chúng ta khám phá cách tìm kiếm và lập chỉ mục hoạt động với Multi-AZ có chế độ chờ và đi sâu vào các cơ chế cơ bản góp phần nâng cao độ tin cậy, tính đơn giản và khả năng chịu lỗi của Multi-AZ.
Tiểu sử
Multi-AZ có chế độ chờ triển khai các phiên bản miền Dịch vụ tìm kiếm mở trên ba Vùng sẵn sàng, với hai vùng được chỉ định là hoạt động và một vùng là chế độ chờ. Cấu hình này đảm bảo hiệu suất ổn định, ngay cả trong trường hợp xảy ra lỗi vùng, bằng cách duy trì cùng một công suất trên tất cả các vùng. Điều quan trọng là vùng dự phòng này tuân theo một thiết kế ổn định tĩnh, loại bỏ nhu cầu cung cấp năng lực hoặc di chuyển dữ liệu khi có lỗi.
Trong các hoạt động thông thường, vùng hoạt động sẽ xử lý lưu lượng điều phối viên cho cả yêu cầu đọc và ghi cũng như lưu lượng truy vấn phân đoạn. Mặt khác, vùng dự phòng chỉ nhận được lưu lượng sao chép. Dịch vụ OpenSearch sử dụng giao thức sao chép đồng bộ cho các yêu cầu ghi. Điều này cho phép dịch vụ nhanh chóng nâng cấp vùng dự phòng lên trạng thái hoạt động trong trường hợp xảy ra lỗi (thời gian trung bình để chuyển đổi dự phòng <= 1 phút), được gọi là chuyển đổi dự phòng khu vực. Vùng hoạt động trước đó sau đó được chuyển xuống chế độ chờ và các hoạt động khôi phục bắt đầu khôi phục trạng thái khỏe mạnh của nó.
Tìm kiếm định tuyến lưu lượng truy cập và chuyển đổi dự phòng để đảm bảo tính sẵn sàng cao
Trong miền Dịch vụ OpenSearch, một điều phối viên là bất kỳ nút nào xử lý các yêu cầu HTTP(S), đặc biệt là các yêu cầu lập chỉ mục và tìm kiếm. Trong Multi-AZ có miền dự phòng, các nút dữ liệu trong vùng hoạt động đóng vai trò là người điều phối các yêu cầu tìm kiếm.
Trong giai đoạn truy vấn của yêu cầu tìm kiếm, điều phối viên xác định các phân đoạn được truy vấn và gửi yêu cầu đến nút dữ liệu lưu trữ bản sao phân đoạn. Truy vấn được chạy cục bộ trên mỗi phân đoạn và các tài liệu phù hợp sẽ được trả về nút điều phối. Nút điều phối, chịu trách nhiệm gửi yêu cầu đến các nút chứa bản sao phân đoạn, sẽ chạy quy trình theo hai bước. Đầu tiên, nó tạo ra một trình vòng lặp xác định thứ tự các nút cần được truy vấn về bản sao phân đoạn để lưu lượng truy cập được phân bổ đồng đều trên các bản sao phân đoạn. Sau đó, yêu cầu được gửi đến các nút có liên quan.
Để tạo danh sách các nút được sắp xếp để truy vấn bản sao phân đoạn, nút điều phối sử dụng nhiều thuật toán khác nhau. Các thuật toán này bao gồm lựa chọn vòng tròn, lựa chọn bản sao thích ứng, định tuyến phân đoạn dựa trên sở thích và vòng tròn có trọng số.
Đối với Multi-AZ có chế độ chờ, thuật toán luân chuyển có trọng số được sử dụng để chọn bản sao phân đoạn. Theo cách tiếp cận này, các vùng hoạt động được gán trọng số là 1 và vùng dự phòng được gán trọng số là 0. Điều này đảm bảo rằng không có lưu lượng đọc nào được gửi đến các nút dữ liệu trong Vùng sẵn sàng dự phòng.
Các trọng số được lưu trữ trong siêu dữ liệu trạng thái cụm dưới dạng đối tượng JSON:
Như được hiển thị trong ảnh chụp màn hình sau đây, us-east-1b
Vùng có trạng thái vùng là StandBy
, cho biết rằng các nút dữ liệu trong Vùng sẵn sàng này đang ở trạng thái chờ và không nhận được yêu cầu tìm kiếm hoặc lập chỉ mục từ bộ cân bằng tải.
Để duy trì hoạt động ở trạng thái ổn định, Vùng sẵn sàng dự phòng được luân chuyển 30 phút một lần, đảm bảo tất cả các phần mạng được bao phủ trên các Vùng sẵn sàng. Cách tiếp cận chủ động này xác minh tính khả dụng của các đường dẫn đọc, nâng cao hơn nữa khả năng phục hồi của hệ thống trong các lỗi có thể xảy ra. Sơ đồ sau minh họa kiến trúc này.
Trong sơ đồ trước, Vùng-C có trọng số xoay vòng có trọng số được đặt thành 0. Điều này đảm bảo rằng các nút dữ liệu trong vùng dự phòng không nhận được bất kỳ lưu lượng tìm kiếm hoặc lập chỉ mục nào. Khi điều phối viên truy vấn các nút dữ liệu để tìm bản sao phân đoạn, nó sẽ sử dụng trọng số theo vòng tròn có trọng số để quyết định thứ tự các nút được truy vấn. Vì trọng số đối với Vùng sẵn sàng dự phòng bằng 0 nên yêu cầu của điều phối viên sẽ không được gửi.
Trong cụm Dịch vụ OpenSearch, bạn có thể kiểm tra vùng hoạt động và vùng dự phòng bất kỳ lúc nào bằng cách sử dụng số liệu xoay vòng Vùng sẵn sàng, như minh họa trong ảnh chụp màn hình sau.
Trong thời gian mất điện vùng, Vùng sẵn sàng dự phòng sẽ chuyển liền mạch sang chế độ không mở cho các yêu cầu tìm kiếm. Điều này có nghĩa là lưu lượng truy vấn phân đoạn được định tuyến đến tất cả các Vùng sẵn sàng, ngay cả những vùng ở chế độ chờ, khi không có bản sao phân đoạn tốt trong Vùng sẵn sàng đang hoạt động. Cách tiếp cận không mở này bảo vệ các yêu cầu tìm kiếm khỏi bị gián đoạn khi xảy ra lỗi, đảm bảo dịch vụ được liên tục. Sơ đồ sau minh họa kiến trúc này.
Trong sơ đồ trước, ở trạng thái ổn định, lưu lượng truy vấn phân đoạn được gửi đến nút dữ liệu trong Vùng sẵn sàng đang hoạt động (Vùng A và Vùng B). Do lỗi nút ở Vùng A, Vùng sẵn sàng dự phòng (Vùng C) không mở được để nhận lưu lượng truy vấn phân đoạn nên không có bất kỳ tác động nào đến các yêu cầu tìm kiếm. Cuối cùng, Vùng A được phát hiện là không tốt và chuyển đổi dự phòng đọc sẽ chuyển chế độ chờ sang Vùng A.
Cách chuyển đổi dự phòng đảm bảo tính sẵn sàng cao trong quá trình ghi bị suy giảm
Mô hình sao chép Dịch vụ OpenSearch tuân theo mô hình sao lưu chính, được đặc trưng bởi tính chất đồng bộ của nó, trong đó cần có sự xác nhận từ tất cả các bản sao phân đoạn trước khi yêu cầu ghi có thể được xác nhận cho người dùng. Một nhược điểm đáng chú ý của mô hình sao chép này là tính dễ bị chậm lại trong trường hợp có bất kỳ sự suy giảm nào trong đường dẫn ghi. Các hệ thống này dựa vào nút chính đang hoạt động để xác định lỗi hoặc độ trễ, sau đó phát thông tin này đến tất cả các nút. Khoảng thời gian cần thiết để phát hiện những vấn đề này (thời gian trung bình để phát hiện) và sau đó giải quyết chúng (thời gian trung bình để sửa chữa) quyết định phần lớn thời gian hệ thống sẽ hoạt động trong tình trạng suy giảm. Ngoài ra, bất kỳ sự kiện mạng nào ảnh hưởng đến liên lạc giữa các vùng đều có thể cản trở đáng kể các yêu cầu ghi do tính chất đồng bộ của quá trình sao chép.
Dịch vụ OpenSearch sử dụng giao thức giao tiếp giữa các nút nội bộ để sao chép lưu lượng ghi và điều phối các cập nhật siêu dữ liệu thông qua một nhà lãnh đạo được bầu. Do đó, việc đặt vùng đang gặp áp lực ở chế độ chờ sẽ không giải quyết được vấn đề suy giảm khả năng ghi một cách hiệu quả.
Chuyển đổi dự phòng ghi theo vùng: Cắt lưu lượng sao chép giữa các vùng
Đối với Multi-AZ có chế độ chờ, để giảm thiểu các vấn đề về hiệu suất tiềm ẩn gây ra trong các sự kiện không lường trước được như lỗi vùng và sự kiện mạng, chuyển đổi dự phòng ghi vùng là một phương pháp hiệu quả. Cách tiếp cận này bao gồm việc loại bỏ nhẹ nhàng các nút trong vùng bị ảnh hưởng khỏi cụm, cắt giảm lưu lượng truy cập vào và ra giữa các vùng một cách hiệu quả. Bằng cách cắt đứt lưu lượng sao chép giữa các vùng, tác động của lỗi vùng có thể được hạn chế trong vùng bị ảnh hưởng. Điều này mang lại trải nghiệm dễ dự đoán hơn cho khách hàng và đảm bảo hệ thống tiếp tục hoạt động đáng tin cậy.
Chuyển đổi dự phòng viết duyên dáng
Việc điều phối chuyển đổi dự phòng ghi trong Dịch vụ OpenSearch được thực hiện bởi nút lãnh đạo được bầu thông qua cơ chế được xác định rõ ràng. Cơ chế này bao gồm một giao thức đồng thuận để xuất bản trạng thái cụm, đảm bảo sự đồng thuận nhất trí giữa tất cả các nút để chỉ định một vùng duy nhất (mọi lúc) để ngừng hoạt động. Điều quan trọng là siêu dữ liệu liên quan đến vùng bị ảnh hưởng được sao chép trên tất cả các nút để đảm bảo tính bền vững của nó, ngay cả khi khởi động lại hoàn toàn trong trường hợp mất điện.
Hơn nữa, nút dẫn đầu đảm bảo quá trình chuyển đổi suôn sẻ và duyên dáng bằng cách ban đầu đặt các nút trong vùng bị ảnh hưởng ở chế độ chờ trong thời gian 5 phút trước khi bắt đầu đấu kiếm I/O. Cách tiếp cận có chủ ý này ngăn không cho bất kỳ lưu lượng điều phối viên mới hoặc lưu lượng truy vấn phân đoạn nào được chuyển hướng đến các nút trong vùng bị ảnh hưởng. Ngược lại, điều này cho phép các nút này hoàn thành các nhiệm vụ đang diễn ra một cách suôn sẻ và dần dần xử lý mọi yêu cầu trên chuyến bay trước khi ngừng hoạt động. Sơ đồ sau minh họa kiến trúc này.
Trong quá trình triển khai chuyển đổi dự phòng ghi cho nút dẫn đầu, Dịch vụ OpenSearch tuân theo các bước chính sau:
- lãnh đạo thoái vị – Nếu nút lãnh đạo tình cờ nằm trong vùng được lên lịch chuyển đổi dự phòng ghi, hệ thống sẽ đảm bảo rằng nút lãnh đạo tự nguyện từ bỏ vai trò lãnh đạo của nó. Việc từ bỏ này được thực hiện một cách có kiểm soát và toàn bộ quá trình được chuyển giao cho một nút đủ điều kiện khác, sau đó nút này sẽ chịu trách nhiệm thực hiện các hành động được yêu cầu.
- Ngăn chặn việc tái bầu cử người lãnh đạo sắp bị giải nhiệm – Để ngăn chặn việc bầu lại nút lãnh đạo từ khu vực được đánh dấu để chuyển đổi dự phòng ghi, khi nút lãnh đạo đủ điều kiện bắt đầu hành động chuyển đổi dự phòng ghi, cần thực hiện các biện pháp để đảm bảo rằng bất kỳ nút lãnh đạo nào ngừng hoạt động sẽ không tham gia vào bất kỳ cuộc bầu cử nào tiếp theo. Điều này đạt được bằng cách loại trừ nút lãnh đạo sắp ngừng hoạt động khỏi cấu hình biểu quyết, ngăn chặn nó biểu quyết một cách hiệu quả trong bất kỳ giai đoạn quan trọng nào của hoạt động của cụm.
Siêu dữ liệu liên quan đến vùng chuyển đổi dự phòng ghi được lưu trữ trong trạng thái cụm và thông tin này được xuất bản tới tất cả các nút trong cụm Dịch vụ OpenSearch được phân phối như sau:
Ảnh chụp màn hình sau đây mô tả rằng trong quá trình kết nối mạng chậm lại trong một vùng, việc ghi chuyển đổi dự phòng sẽ giúp khôi phục tính khả dụng.
Phục hồi vùng sau khi ghi chuyển đổi dự phòng
Quá trình chạy thử lại vùng đóng một vai trò quan trọng trong giai đoạn phục hồi sau khi chuyển đổi dự phòng ghi vùng. Sau khi vùng bị ảnh hưởng được khôi phục và được coi là ổn định, các nút đã ngừng hoạt động trước đó sẽ tham gia lại cụm. Việc chạy lại hoạt động này thường diễn ra trong khung thời gian 2 phút sau khi khu vực được hoạt động trở lại.
Điều này cho phép họ đồng bộ hóa với các nút ngang hàng và bắt đầu quá trình khôi phục cho các phân đoạn bản sao, khôi phục cụm về trạng thái mong muốn một cách hiệu quả.
Kết luận
Việc giới thiệu Dịch vụ OpenSearch Multi-AZ có chế độ chờ cung cấp cho doanh nghiệp một giải pháp mạnh mẽ để đạt được độ sẵn sàng cao và hiệu suất ổn định cho khối lượng công việc quan trọng. Với tùy chọn triển khai này, doanh nghiệp có thể nâng cao khả năng phục hồi của cơ sở hạ tầng, đơn giản hóa việc quản lý và cấu hình cụm cũng như thực thi các biện pháp thực hành tốt nhất. Với các tính năng như lựa chọn bản sao phân đoạn luân phiên có trọng số, cơ chế chuyển đổi dự phòng chủ động và Vùng sẵn sàng dự phòng không mở được, Dịch vụ OpenSearch Multi-AZ có chế độ chờ đảm bảo trải nghiệm tìm kiếm đáng tin cậy và hiệu quả cho môi trường doanh nghiệp đòi hỏi khắt khe.
Để biết thêm thông tin về Multi-AZ có chế độ chờ, hãy tham khảo Dịch vụ Amazon OpenSearch toàn diện: Multi-AZ có chế độ chờ.
Lưu ý
Anshu Agarwal là một Kỹ sư phần mềm cao cấp làm việc trên AWS OpenSearch tại Amazon Web Services. Cô đam mê giải quyết các vấn đề liên quan đến việc xây dựng các hệ thống có thể mở rộng và có độ tin cậy cao.
Rishab Nahata là một Kỹ sư phần mềm làm việc trên OpenSearch tại Amazon Web Services. Anh ấy say mê giải quyết các vấn đề trong các hệ thống phân tán. Anh ấy là người đóng góp tích cực cho OpenSearch.
Bukhtawar Khan là Kỹ sư chính làm việc trên Dịch vụ tìm kiếm mở của Amazon. Ông quan tâm đến các hệ thống phân tán và tự trị. Anh ấy là người đóng góp tích cực cho OpenSearch.
Ranjith Ramachandra là Giám đốc Kỹ thuật làm việc trên Dịch vụ Tìm kiếm Mở của Amazon tại Dịch vụ Web của Amazon.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/big-data/achieve-high-availability-in-amazon-opensearch-multi-az-with-standby-enabled-domains-a-deep-dive-into-failovers/
- : có
- :là
- :không phải
- :Ở đâu
- 1
- 10
- 100
- 12
- 30
- 501
- a
- Giới thiệu
- Đạt được
- đạt được
- thừa nhận
- ngang qua
- Hành động
- Hoạt động
- hành động
- hoạt động
- thích nghi
- Ngoài ra
- địa chỉ
- bị ảnh hưởng
- Sau
- Hiệp định
- thuật toán
- thuật toán
- Tất cả
- cho phép
- đàn bà gan dạ
- Amazon Web Services
- trong số
- an
- và
- Một
- bất kì
- phương pháp tiếp cận
- kiến trúc
- LÀ
- AS
- giao
- At
- tự trị
- hệ thống tự trị
- sẵn có
- nhận thức
- AWS
- sao lưu
- cân bằng
- BE
- bởi vì
- được
- trước
- được
- BEST
- thực hành tốt nhất
- giữa
- cả hai
- phát sóng
- Xây dựng
- các doanh nghiệp
- by
- CAN
- Sức chứa
- thực hiện
- gây ra
- đặc trưng
- phí
- đã kiểm tra
- cụm
- Giao tiếp
- Truyền thông
- hoàn thành
- Cấu hình
- Sự đồng thuận
- hậu quả là
- xem xét
- thích hợp
- An ủi
- chứa
- liên tiếp
- liên tục
- Góp phần
- người đóng góp
- kiểm soát
- điều phối
- Điều phối viên
- điều phối viên
- bản sao
- phủ
- tạo
- tạo ra
- quan trọng
- quan trọng
- khách hàng
- cắt
- dữ liệu
- quyết định
- sâu
- lặn sâu
- Xác định
- sự chậm trễ
- đào sâu
- yêu cầu
- triển khai
- triển khai
- được chỉ định
- thiết kế
- mong muốn
- phát hiện
- phát hiện
- xác định
- đạo diễn
- Gián đoạn
- phân phối
- hệ thống phân phối
- bổ nhào
- do
- tài liệu
- miền
- lĩnh vực
- dont
- xuống
- hai
- thời gian
- suốt trong
- mỗi
- Hiệu quả
- hiệu quả
- hiệu quả
- bầu
- Bầu cử
- đủ điều kiện
- loại bỏ
- kích hoạt
- cho phép
- thi hành
- ky sư
- Kỹ Sư
- nâng cao
- nâng cao
- tăng cường
- đảm bảo
- đảm bảo
- đảm bảo
- Doanh nghiệp
- Toàn bộ
- môi trường
- đặc biệt
- Ether (ETH)
- Ngay cả
- Sự kiện
- sự kiện
- cuối cùng
- Mỗi
- loại trừ
- kinh nghiệm
- trải qua
- khám phá
- không
- Không
- thất bại
- Đặc tính
- Tính năng
- hàng rào
- Tên
- tiếp theo
- sau
- Trong
- FRAME
- từ
- Full
- xa hơn
- gif
- Duyên dáng
- dần dần
- Bảo hành
- tay
- xử lý
- Xử lý
- xảy ra
- he
- khỏe mạnh
- giúp
- Cao
- cao
- mui xe
- lưu trữ
- Độ đáng tin của
- http
- HTTPS
- xác định
- if
- minh họa
- Va chạm
- tác động
- suy nhược
- thực hiện
- quan trọng
- in
- bao gồm
- chỉ ra
- thông tin
- Cơ sở hạ tầng
- ban đầu
- Đồng tu
- bắt đầu
- trường hợp
- quan tâm
- nội bộ
- trong
- giới thiệu
- Giới thiệu
- liên quan đến
- vấn đề
- các vấn đề
- IT
- ITS
- jpg
- json
- Key
- nổi tiếng
- phần lớn
- lãnh đạo
- Lãnh đạo
- Lượt thích
- Danh sách
- tải
- tại địa phương
- nằm
- dài
- duy trì
- duy trì
- quản lý
- quản lý
- giám đốc
- cách thức
- đánh dấu
- phù hợp
- nghĩa là
- có nghĩa
- các biện pháp
- cơ chế
- cơ chế
- Siêu dữ liệu
- Metrics
- phút
- phút
- Giảm nhẹ
- Chế độ
- kiểu mẫu
- chi tiết
- phong trào
- Thiên nhiên
- cần thiết
- Cần
- mạng
- mạng lưới
- Mới
- Không
- nút
- các nút
- Nổi bật
- vật
- of
- off
- on
- ONE
- đang diễn ra
- có thể
- mở
- hoạt động
- hoạt động
- Hoạt động
- Tùy chọn
- or
- dàn nhạc
- gọi món
- Nền tảng khác
- ra
- mất điện
- Cúp điện
- kết thúc
- tham gia
- các bộ phận
- đam mê
- con đường
- đường dẫn
- lê
- hiệu suất
- kiên trì
- giai đoạn
- đặt
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- đóng
- Bài đăng
- tiềm năng
- mạnh mẽ
- thực hành
- trước
- Dự đoán
- ngăn chặn
- ngăn chặn
- ngăn chặn
- trước đây
- chính
- Hiệu trưởng
- Chủ động
- vấn đề
- quá trình
- thúc đẩy
- giao thức
- cho
- cung cấp
- Xuất bản
- công bố
- Đặt
- truy vấn
- Đọc
- nhận
- nhận
- gần đây
- Phục hồi
- phục hồi
- phục hồi
- xem
- khu
- đều đặn
- liên quan
- có liên quan
- độ tin cậy
- đáng tin cậy
- dựa
- còn lại
- loại bỏ
- sửa
- trả lời
- nhân rộng
- nhân rộng
- yêu cầu
- yêu cầu
- cần phải
- khả năng phục hồi
- đàn hồi
- giải quyết
- chịu trách nhiệm
- khôi phục
- phục hồi
- khôi phục lại
- Vai trò
- định tuyến
- chạy
- chạy
- s
- biện pháp bảo vệ
- tương tự
- khả năng mở rộng
- lên kế hoạch
- liền mạch
- Tìm kiếm
- lựa chọn
- gửi
- gửi
- cao cấp
- gởi
- dịch vụ
- DỊCH VỤ
- định
- chị ấy
- thể hiện
- đáng kể
- đơn giản
- đơn giản hóa
- duy nhất
- Chậm lại
- sự chậm lại
- trơn tru
- So
- Phần mềm
- Kỹ sư phần mềm
- giải pháp
- Giải quyết
- ổn định
- Tiểu bang
- Trạng thái
- vững chắc
- Các bước
- lưu trữ
- căng thẳng
- Sau đó
- thành công
- sự nhạy cảm
- hệ thống
- hệ thống
- Hãy
- Lấy
- mất
- nhiệm vụ
- việc này
- Sản phẩm
- cung cấp their dịch
- Them
- sau đó
- Đó
- Kia là
- điều này
- những
- số ba
- Thông qua
- thời gian
- thời gian
- đến
- khoan dung
- giao thông
- quá trình chuyển đổi
- XOAY
- hai
- thường
- Dưới
- cơ bản
- không lường trước được
- Cập nhật
- đã sử dụng
- người sử dang
- sử dụng
- sử dụng
- sử dụng
- khác nhau
- tự nguyện
- Bỏ phiếu
- we
- web
- các dịch vụ web
- trọng lượng
- TỐT
- được xác định rõ ràng
- là
- khi nào
- cái nào
- trong khi
- sẽ
- với
- ở trong
- đang làm việc
- công trinh
- viết
- zephyrnet
- không
- khu vực Ace