Hôm nay, AWS thông báo về việc cung cấp các bản nâng cấp phiên bản tại chỗ cho Quy trình làm việc được quản lý của Amazon cho Luồng khí Apache (Amazon MWAA). Cải tiến này cho phép bạn nâng cấp liền mạch các môi trường Apache Airflow phiên bản 2.x hiện có của mình lên các phiên bản mới hơn có sẵn trong khi vẫn giữ lại cấu hình môi trường và lịch sử chạy quy trình làm việc. Giờ đây, bạn có thể tận dụng các khả năng mới nhất của nền tảng Apache Airflow mà không cần phải tạo một môi trường Amazon MWAA hoàn toàn mới.
Cho đến bây giờ, nếu bạn muốn nâng cấp môi trường Amazon MWAA của mình lên một phiên bản Apache Airflow khác, bạn phải làm theo hướng dẫn Di chuyển môi trường Amazon MWAA hướng dẫn. Điều này liên quan đến việc tạo một môi trường Amazon MWAA mới, sau đó di chuyển tất cả các cấu hình và Đồ thị Acyclic có hướng (DAG) cho nó. Nếu bạn cũng cần lưu giữ lịch sử của các lần chạy DAG, bạn phải sao lưu cơ sở dữ liệu siêu dữ liệu của mình rồi khôi phục bản sao lưu đó trên môi trường mới tạo. Quá trình này dễ xảy ra lỗi, thủ công và phát sinh thêm chi phí để duy trì hai môi trường Amazon MWAA riêng biệt cho đến khi bạn có thể xác minh môi trường mới và ngừng hoạt động môi trường cũ.
Trong bài đăng này, chúng tôi cung cấp thông tin tổng quan về tính năng nâng cấp phiên bản tại chỗ, khám phá các trường hợp sử dụng có thể áp dụng, trình bày chi tiết các bước để sử dụng tính năng này và cung cấp hướng dẫn bổ sung về khả năng của tính năng này.
Tổng quan về giải pháp
Các bản nâng cấp phiên bản tại chỗ mới được giới thiệu bởi Amazon MWAA cung cấp quá trình chuyển đổi hợp lý từ các môi trường dựa trên Apache Airflow phiên bản 2.x hiện có của bạn sang các phiên bản Apache Airflow mới hơn có sẵn. Amazon MWAA quản lý toàn bộ quá trình nâng cấp, từ việc cung cấp các phiên bản Apache Airflow mới đến nâng cấp cơ sở dữ liệu siêu dữ liệu. Trong trường hợp nâng cấp không thành công, Amazon MWAA được thiết kế để quay trở lại phiên bản ổn định trước đó bằng cách sử dụng ảnh chụp nhanh cơ sở dữ liệu siêu dữ liệu được liên kết.
Nâng cấp các môi trường hiện tại của bạn trên Amazon MWAA là một quá trình đơn giản. Bạn có thể nâng cấp các môi trường Apache Airflow 2.0 và mới hơn hiện tại của mình trên Amazon MWAA chỉ bằng vài cú nhấp chuột trên bảng điều khiển Amazon MWAA, bằng cách sử dụng API Amazon MWAA, Giao diện dòng lệnh AWS (AWS CLI) hoặc bằng cách sử dụng các công cụ như Hình thành đám mây AWS, Các Bộ công cụ phát triển đám mây AWS (AWS CDK) hoặc Terraform. Tính năng này khả dụng ở tất cả các Khu vực Amazon MWAA hiện được hỗ trợ.
Trên bảng điều khiển Amazon MWAA, chỉ cần chỉnh sửa môi trường và chọn phiên bản Apache Airflow có sẵn cao hơn phiên bản hiện tại của môi trường hiện tại của bạn. Bạn cũng có thể sử dụng Cập NhậtMôi Trường API và chỉ định phiên bản Luồng khí Apache mới để kích hoạt quy trình nâng cấp. Để tìm hiểu thêm về nâng cấp phiên bản tại chỗ, hãy tham khảo Nâng cấp phiên bản Apache Airflow từ tài liệu Amazon MWAA.
Trong quá trình nâng cấp, trước tiên, Amazon MWAA sẽ tạo ảnh chụp nhanh cơ sở dữ liệu siêu dữ liệu của môi trường hiện tại, sau đó dữ liệu này được dùng làm cơ sở cho cơ sở dữ liệu mới. Sau đó, tất cả các thành phần của Apache Airflow—máy chủ web, bộ lập lịch và công nhân—đều được nâng cấp. Cuối cùng, cơ sở dữ liệu siêu dữ liệu mới tạo được nâng cấp, hoàn thành hiệu quả quá trình chuyển đổi sang môi trường mới.
Các trường hợp sử dụng áp dụng
Bạn nên cân nhắc nâng cấp phiên bản Luồng khí Apache của mình trên Amazon MWAA nếu quy trình công việc hiện tại của bạn có thể đáp ứng thay đổi và có phiên bản mới với các tính năng hoặc cải tiến phù hợp với trường hợp sử dụng của bạn. Bằng cách nâng cấp, bạn có thể tận dụng các khả năng mới nhất của nền tảng Apache Airflow và duy trì khả năng tương thích với các tính năng mới cũng như các phương pháp hay nhất như lập lịch dựa trên dữ liệu và các gói nhà cung cấp mới của Amazon phát hành trong Apache Airflow 2.4.3. Quá trình nâng cấp liên quan đến thời gian ngừng hoạt động của môi trường. Quá trình này có thể mất tới 2 giờ để hoàn tất tùy thuộc vào quy mô môi trường và có thể được thực hiện theo yêu cầu vào thời điểm phù hợp nhất với bạn. Nếu môi trường hiện tại của bạn được sử dụng nhiều đến mức bạn không thể có thời gian ngừng hoạt động, hãy xem xét việc tạo một môi trường mới thay thế.
Điều kiện tiên quyết
Khi chuẩn bị nâng cấp, hãy đảm bảo bạn hoàn thành các bước tiên quyết sau:
- Xác minh các thay đổi của Luồng không khí Apache giữa các phiên bản môi trường hiện tại và mới của bạn. Xem lại luồng không khí Apache ghi chú phát hành để hiểu tác động của các tính năng mới, những thay đổi quan trọng và các bản sửa lỗi mà tất cả các bản phát hành Apache Airflow trung gian được thực hiện giữa các phiên bản nguồn và đích của bạn.
- Xem lại hiện tại của bạn
requirements.txt
tệp để xác minh tập hợp phụ thuộc chính xác cần thiết cho môi trường mục tiêu của bạn. Ngoài ra, xác minh rằng bạnrequirements.txt
tệp có tệp ràng buộc chính xác được thêm vào ở đầu tệp để phù hợp với môi trường mục tiêu của bạn. Tệp ràng buộc Luồng khí Apache chỉ định các mô-đun phụ thuộc và phiên bản nhà cung cấp có sẵn tại thời điểm phát hành Luồng khí Apache. Việc thêm tệp ràng buộc sẽ ngăn các thư viện không tương thích được cài đặt vào môi trường của bạn. Trong ví dụ sau, thay thế{Airflow-version}
với số phiên bản của môi trường mục tiêu của bạn và{Python-version}
với phiên bản Python tương thích với môi trường của bạn:--constraint "https://raw.githubusercontent.com/apache/airflow/constraints-{Airflow-version}/constraints-{Python-version}.txt"
- Xem lại tính tương thích của các thư viện Python bổ sung được đề cập trong
requirements.txt
tập tin để phù hợp với môi trường mục tiêu của bạn. Apache Airflow v2.4.3 trở lên sử dụng Python v3.10, trong khi các phiên bản Apache Airflow cũ hơn sử dụng Python v3.7. Do đó, nếu bạn đang cố nâng cấp môi trường dựa trên Apache Airflow v2.0.2/2.2.2 hiện tại của mình lên Apache Airflow v2.4.3 trở lên, thì bạn nên cập nhật các thư viện Python bổ sung của mình để phù hợp với Python v3.10. - Với Apache Airflow v2.4.3 trở lên, danh sách các gói nhà cung cấp mà Amazon MWAA cài đặt theo mặc định cho môi trường của bạn đã thay đổi. Lưu ý rằng một số tên nhà điều hành và nhập đã thay đổi trong gói nhà cung cấp mới trong Luồng khí Apache để chuẩn hóa quy ước đặt tên trên các gói nhà cung cấp. So sánh các danh sách các gói nhà cung cấp được cài đặt theo mặc định trong Apache Airflow v2.2.2 hoặc v2.0.2 và định cấu hình mọi gói bổ sung mà bạn có thể cần cho Apache Airflow v2.4.3 mới và môi trường cao hơn.
- Đảm bảo rằng DAG của bạn và các tài nguyên quy trình công việc khác tương thích với phiên bản Luồng khí Apache mới mà bạn đang nâng cấp lên.
- Sử dụng aws-mwaa-local-runner tiện ích để kiểm tra cục bộ các DAG, yêu cầu, phần bổ trợ và phần phụ thuộc hiện tại của bạn trước khi triển khai lên Amazon MWAA. Bạn có thể tạo môi trường Apache Airflow mục tiêu tương tự như hình ảnh sản xuất Amazon MWAA cục bộ bằng cách sử dụng
aws-mwaa-local-runner
và xác minh rằng tất cả các thành phần của bạn đều hoạt động trước khi thử nâng cấp môi trường Amazon MWAA của bạn. Ngoài ra, hãy thử nghiệm quy trình nâng cấp môi trường mới trong các môi trường Amazon MWAA thấp hơn như dev hoặc dàn dựng trước khi triển khai nâng cấp trong môi trường sản xuất.
quá trình nâng cấp
Khi bắt đầu nâng cấp, Amazon MWAA sẽ dừng các thành phần Apache Airflow cơ bản hiện có (máy chủ web, bộ lập lịch trình và công nhân). Quá trình này tạm dừng mọi tác vụ worker hiện đang chạy. Trạng thái môi trường của bạn ở giai đoạn này sẽ hiển thị dưới dạng UPDATING
. Sau đó, quá trình nâng cấp sẽ tạo ảnh chụp nhanh cơ sở dữ liệu của cơ sở dữ liệu siêu dữ liệu, được đánh dấu bằng trạng thái CREATING_SNAPSHOT
. Khi ảnh chụp nhanh hoàn tất, trạng thái môi trường trở lại UPDATING
vì Amazon MWAA kích hoạt việc tạo môi trường Luồng khí Apache mới phù hợp với lựa chọn phiên bản của bạn và áp dụng các thay đổi giản đồ cần thiết cho cơ sở dữ liệu siêu dữ liệu hiện có để căn chỉnh nó với môi trường Luồng khí Apache mục tiêu. Trong giai đoạn này, các yêu cầu, phần bổ trợ và các phụ thuộc khác đã chỉ định của bạn được cài đặt.
Sau khi hoàn thành, môi trường mới của bạn được đánh dấu là AVAILABLE
, cho biết quá trình nâng cấp đã thành công và môi trường đã sẵn sàng để thử nghiệm. Giờ đây, bạn có thể đăng nhập vào giao diện người dùng Apache Airflow của mình để xác minh sự hiện diện của các DAG hiện tại, các lần chạy lịch sử của chúng, các kết nối được định cấu hình, v.v.
Tuy nhiên, nếu có lỗi trong việc cài đặt các tệp yêu cầu, plugin và tệp phụ thuộc đã chỉ định của bạn, thì môi trường sẽ bắt đầu khôi phục về phiên bản ổn định trước đó. Trong quá trình này, trạng thái môi trường của bạn sẽ hiển thị là ROLLING_BACK
. Nếu khôi phục thành công, môi trường ổn định trước đó của bạn sẽ khả dụng và trạng thái sẽ hiển thị là UPDATE_FAILED
cho đến khi một bản cập nhật mới được thử và thành công. Nếu khôi phục không thành công, trạng thái sẽ hiển thị là UNAVAILABLE
, cho biết rằng môi trường của bạn không hoạt động.
Nếu quá trình nâng cấp môi trường của bạn không thành công, có khả năng là cơ sở Dịch vụ container đàn hồi Amazon (ECS của Amazon) Cổng xa AWS các cụm có vấn đề về ổn định do các yêu cầu và plugin xung đột, sự cố mạng hoặc sự cố di chuyển DB sau khi nâng cấp thành phần Luồng khí Apache. Để giảm thiểu những sự cố này, hãy đảm bảo rằng DAG và các yêu cầu của bạn hoạt động mà không gặp sự cố khi sử dụng aws-mwaa-local-runner
tiện ích và lý tưởng nhất là thử nghiệm trong môi trường Amazon MWAA theo giai đoạn.
Xem xét bổ sung
Hãy ghi nhớ các thông tin bổ sung sau đây của tính năng này:
- Quá trình nâng cấp được cung cấp theo yêu cầu và sẽ bị giới hạn khi chuyển sang các phiên bản mới hơn. Nâng cấp phiên bản tại chỗ trên Amazon MWAA không được hỗ trợ cho phiên bản 1.10.z. Để thực hiện nâng cấp phiên bản chính, chẳng hạn như từ phiên bản 1.yz lên 2.yz, bạn phải tạo một môi trường mới và di chuyển tài nguyên của mình.
- Bạn chỉ có thể chọn các phiên bản cao hơn hiện hành mà bạn có thể nâng cấp lên. Hạ cấp xuống phiên bản thấp hơn không khả dụng.
- Quá trình khôi phục có thể mất thêm thời gian và nếu bạn có Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) đã bật phiên bản bộ chứa, Amazon MWAA được thiết kế để hoàn nguyên môi trường về cấu hình hoạt động trước đó, bao gồm các phần bổ trợ và yêu cầu. Tuy nhiên, mọi thay đổi thủ công được thực hiện đối với DAG của bạn sẽ không được hoàn nguyên trong quá trình này.
- Sau khi quá trình nâng cấp hoàn tất thành công và môi trường khả dụng, mọi DAG đang chạy bị gián đoạn trong quá trình nâng cấp đều được lên lịch để thử lại, tùy thuộc vào cách bạn định cấu hình các lần thử lại cho DAG của mình. Bạn cũng có thể kích hoạt chúng theo cách thủ công hoặc đợi lần chạy theo lịch trình tiếp theo.
- Trước tiên, bạn nên nâng cấp lặp đi lặp lại các môi trường của mình, bắt đầu từ những môi trường ít quan trọng nhất.
Kết luận
Trong bài đăng này, chúng tôi đã nói về tính năng mới của Amazon MWAA cho phép bạn nâng cấp môi trường Amazon MWAA hiện tại của mình lên các phiên bản Apache Airflow cao hơn. Tính năng này được hỗ trợ trên các môi trường Amazon MWAA mới và hiện có chạy Apache Airflow 2.x trở lên. Sử dụng tính năng này để nâng cấp các phiên bản Luồng không khí Apache của bạn trong khi vẫn giữ lại lịch sử chạy quy trình công việc hiện có và cấu hình môi trường. Bằng cách nâng cấp, bạn có thể tận dụng các khả năng mới nhất của nền tảng Apache Airflow và duy trì khả năng tương thích với các tính năng mới cũng như tuân thủ các phương pháp hay nhất.
Để biết thêm chi tiết và ví dụ về mã trên Amazon MWAA, hãy truy cập Hướng dẫn sử dụng Amazon MWAA và Amazon MWAA ví dụ GitHub repo.
Apache, Apache Airflow và Airflow là nhãn hiệu đã đăng ký hoặc nhãn hiệu của Quỹ phần mềm Apache ở Hoa Kỳ và / hoặc các quốc gia khác.
Về các tác giả
Parnab Basak là Kiến trúc sư giải pháp và Chuyên gia Serverless tại AWS. Anh ấy chuyên tạo ra các giải pháp mới có nguồn gốc từ đám mây bằng cách sử dụng các phương pháp phát triển phần mềm hiện đại như serverless, DevOps và phân tích. Parnab hợp tác chặt chẽ trong không gian dịch vụ tích hợp và phân tích giúp khách hàng áp dụng các dịch vụ AWS cho nhu cầu điều phối quy trình làm việc của họ.
Fernando Gamero là kỹ sư Senior Solutions Architect tại AWS, có hơn 25 năm kinh nghiệm trong ngành công nghệ, từ viễn thông, ngân hàng cho đến khởi nghiệp. Anh ấy hiện đang giúp khách hàng xây dựng Kiến trúc hướng sự kiện, áp dụng các giải pháp IoT tại Edge và chuyển đổi các quy trình máy học và dữ liệu của họ trên quy mô lớn.
Shubham Mehta là một người quản lý sản phẩm giàu kinh nghiệm với hơn tám năm kinh nghiệm và thành tích đã được chứng minh về việc cung cấp các sản phẩm thành công. Với vai trò hiện tại là Giám đốc sản phẩm cấp cao tại AWS, anh giám sát các Quy trình công việc được quản lý của Amazon cho Apache Airflow (Amazon MWAA) và dẫn đầu các đóng góp mã nguồn mở của Apache Airflow để nâng cao hơn nữa chức năng của sản phẩm.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoAiStream. Thông minh dữ liệu Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Đúc kết tương lai với Adryenn Ashley. Truy cập Tại đây.
- Mua và bán cổ phần trong các công ty PRE-IPO với PREIPO®. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/big-data/introducing-in-place-version-upgrades-with-amazon-mwaa/
- : có
- :là
- :không phải
- $ LÊN
- 1
- 10
- 100
- 110
- 7
- a
- Giới thiệu
- ở trên
- chứa
- ngang qua
- xoay vòng
- thêm
- thêm
- thêm vào
- thông tin bổ sung
- Ngoài ra
- tham gia
- nhận nuôi
- Nhận nuôi
- Lợi thế
- Sau
- sắp xếp
- Tất cả
- cho phép
- Ngoài ra
- đàn bà gan dạ
- Quy trình công việc được quản lý của Amazon dành cho Luồng khí Apache (Amazon MWAA)
- Amazon Web Services
- an
- phân tích
- và
- Thông báo
- bất kì
- Apache
- api
- áp dụng
- LÀ
- AS
- liên kết
- At
- đã cố gắng
- cố gắng
- sẵn có
- có sẵn
- AWS
- trở lại
- sao lưu
- Ngân hàng
- cơ sở
- BE
- được
- trước
- được
- BEST
- thực hành tốt nhất
- giữa
- Bug
- Xây dựng
- by
- CAN
- khả năng
- trường hợp
- trường hợp
- gây ra
- thay đổi
- thay đổi
- Những thay đổi
- chặt chẽ
- đám mây
- Mây bản địa
- mã
- so sánh
- khả năng tương thích
- tương thích
- hoàn thành
- Hoàn thành
- hoàn thành
- hoàn thành
- thành phần
- các thành phần
- Cấu hình
- Mâu thuẫn
- Kết nối
- Hãy xem xét
- An ủi
- khó khăn
- Container
- đóng góp
- Công ước
- sửa chữa
- Chi phí
- có thể
- nước
- tạo
- tạo ra
- tạo ra
- Tạo
- tạo
- quan trọng
- Current
- Hiện nay
- khách hàng
- DAG
- dữ liệu
- hướng dữ liệu
- Cơ sở dữ liệu
- Mặc định
- phân phối
- Nhu cầu
- phụ thuộc
- Tùy
- triển khai
- thiết kế
- điểm đến
- chi tiết
- chi tiết
- Dev
- Phát triển
- DevOps
- khác nhau
- Giao diện
- tài liệu hướng dẫn
- thời gian chết
- điều khiển
- suốt trong
- Cạnh
- hiệu quả
- hay
- kích hoạt
- ky sư
- nâng cao
- tăng cường
- đảm bảo
- Toàn bộ
- hoàn toàn
- Môi trường
- môi trường
- lôi
- Ether (ETH)
- Sự kiện
- ví dụ
- ví dụ
- hiện tại
- kinh nghiệm
- kinh nghiệm
- khám phá
- không
- Không
- Đặc tính
- Tính năng
- vài
- Tập tin
- Các tập tin
- Cuối cùng
- Tên
- theo
- tiếp theo
- Trong
- từ
- chức năng
- chức năng
- xa hơn
- GitHub
- hướng dẫn
- có
- Có
- có
- he
- nặng nề
- giúp đỡ
- cao hơn
- của mình
- lịch sử
- lịch sử
- GIỜ LÀM VIỆC
- Tuy nhiên
- HTML
- http
- HTTPS
- if
- hình ảnh
- Va chạm
- nhập khẩu
- cải tiến
- in
- Bao gồm
- không tương thích
- chỉ ra
- ngành công nghiệp
- thông tin
- Đồng tu
- Cài đặt
- thay vì
- hướng dẫn
- hội nhập
- Trung cấp
- bị gián đoạn
- giới thiệu
- giới thiệu
- tham gia
- iốt
- các vấn đề
- IT
- ITS
- jpg
- chỉ
- một lát sau
- mới nhất
- LEARN
- học tập
- ít nhất
- thư viện
- Lượt thích
- Có khả năng
- Hạn chế
- Dòng
- Danh sách
- tại địa phương
- đăng nhập
- máy
- học máy
- thực hiện
- duy trì
- chính
- làm cho
- quản lý
- giám đốc
- quản lý
- nhãn hiệu
- thủ công
- đánh dấu
- Trận đấu
- đề cập
- Siêu dữ liệu
- Might
- di chuyển
- di cư
- di cư
- tâm
- Giảm nhẹ
- hiện đại
- Modules
- chi tiết
- di chuyển
- phải
- tên
- đặt tên
- tự nhiên
- cần thiết
- Cần
- cần thiết
- nhu cầu
- mạng lưới
- Mới
- tính năng mới
- Các tính năng mới
- giải pháp mới
- mới
- tiếp theo
- tại
- con số
- of
- Xưa
- on
- những
- có thể
- mã nguồn mở
- nhà điều hành
- or
- dàn nhạc
- gọi món
- Nền tảng khác
- ra
- kết thúc
- tổng quan
- gói
- gói
- thực hiện
- thực hiện
- giai đoạn
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- bổ sung
- Bài đăng
- thực hành
- chuẩn bị
- sự hiện diện
- ngăn chặn
- trước
- quá trình
- Sản phẩm
- giám đốc sản xuất
- Sản lượng
- Sản phẩm
- đã được chứng minh
- cho
- nhà cung cấp dịch vụ
- Python
- sẵn sàng
- ghi
- vùng
- đăng ký
- phát hành
- Phát hành
- thay thế
- cần phải
- Yêu cầu
- Thông tin
- khôi phục
- giữ lại
- Trả về
- trở lại
- xem xét
- Vai trò
- Lăn
- Lăn
- chạy
- chạy
- Quy mô
- lên kế hoạch
- lập kế hoạch
- liền mạch
- lựa chọn
- cao cấp
- riêng biệt
- Không có máy chủ
- phục vụ
- DỊCH VỤ
- định
- nên
- hiển thị
- có ý nghĩa
- tương tự
- Đơn giản
- đơn giản
- Kích thước máy
- Ảnh chụp
- Phần mềm
- phát triển phần mềm
- Giải pháp
- một số
- nguồn
- Không gian
- chuyên gia
- chuyên
- quy định
- ổn định
- Traineeship
- dàn dựng
- Bắt đầu
- Startups
- Bang
- Trạng thái
- Các bước
- Dừng
- là gắn
- đơn giản
- sắp xếp hợp lý
- Sau đó
- thành công
- Thành công
- như vậy
- Hỗ trợ
- Hãy
- Mục tiêu
- nhiệm vụ
- Công nghệ
- viễn thông
- Terraform
- thử nghiệm
- Kiểm tra
- hơn
- việc này
- Sản phẩm
- cung cấp their dịch
- Them
- sau đó
- Đó
- vì thế
- Kia là
- điều này
- thời gian
- đến
- công cụ
- hàng đầu
- theo dõi
- thương hiệu
- biến đổi
- quá trình chuyển đổi
- kích hoạt
- hai
- ui
- cơ bản
- hiểu
- Kỳ
- Hoa Kỳ
- cho đến khi
- Cập nhật
- nâng cấp
- nâng cấp
- nâng cấp
- sử dụng
- ca sử dụng
- đã sử dụng
- người sử dang
- sử dụng
- tiện ích
- xác minh
- phiên bản
- Truy cập
- chờ đợi
- muốn
- là
- Đường..
- we
- web
- máy chủ web
- các dịch vụ web
- là
- khi nào
- cái nào
- trong khi
- sẽ
- với
- không có
- Công việc
- công nhân
- công nhân
- quy trình làm việc
- Luồng công việc
- đang làm việc
- công trinh
- X
- năm
- bạn
- trên màn hình
- zephyrnet