Xây dựng các mô hình nền tảng (FM) yêu cầu xây dựng, duy trì và tối ưu hóa các cụm lớn để huấn luyện các mô hình có hàng chục đến hàng trăm tỷ tham số trên lượng dữ liệu khổng lồ. Tạo ra một môi trường linh hoạt có thể xử lý các lỗi và thay đổi môi trường mà không mất nhiều ngày hoặc nhiều tuần tiến độ đào tạo mô hình là một thách thức vận hành đòi hỏi bạn phải triển khai mở rộng quy mô cụm, theo dõi sức khỏe chủ động, kiểm tra điểm công việc và khả năng tự động tiếp tục đào tạo nếu có lỗi hoặc vấn đề phát sinh .
Chúng tôi rất vui được chia sẻ điều đó Amazon SageMaker HyperPod hiện đã có sẵn rộng rãi để kích hoạt các mô hình nền tảng đào tạo với hàng nghìn máy gia tốc nhanh hơn tới 40% bằng cách cung cấp môi trường đào tạo có khả năng phục hồi cao đồng thời loại bỏ gánh nặng không phân biệt liên quan đến việc vận hành các cụm đào tạo quy mô lớn. Với SageMaker HyperPod, những người thực hành máy học (ML) có thể đào tạo FM trong nhiều tuần và nhiều tháng mà không bị gián đoạn cũng như không phải xử lý các sự cố lỗi phần cứng.
Những khách hàng như Stability AI sử dụng SageMaker HyperPod để đào tạo các mô hình nền tảng của họ, bao gồm cả Stable Diffusion.
“Là công ty AI tạo nguồn mở hàng đầu, mục tiêu của chúng tôi là tối đa hóa khả năng tiếp cận của AI hiện đại. Chúng tôi đang xây dựng các mô hình nền tảng với hàng chục tỷ tham số, đòi hỏi cơ sở hạ tầng để mở rộng hiệu suất đào tạo một cách tối ưu. Với cơ sở hạ tầng được quản lý và thư viện tối ưu hóa của SageMaker HyperPod, chúng tôi có thể giảm hơn 50% thời gian và chi phí đào tạo. Nó làm cho việc đào tạo mô hình của chúng tôi trở nên linh hoạt hơn và hoạt động hiệu quả hơn để xây dựng các mô hình hiện đại nhanh hơn.”
– Emad Mostaque, Người sáng lập và Giám đốc điều hành AI ổn định.
Để thực hiện toàn bộ chu trình phát triển FM có khả năng phục hồi trước các lỗi phần cứng, SageMaker HyperPod giúp bạn tạo các cụm, theo dõi tình trạng của cụm, sửa chữa và thay thế các nút bị lỗi một cách nhanh chóng, lưu các điểm kiểm tra thường xuyên và tự động tiếp tục đào tạo mà không làm mất tiến trình. Ngoài ra, SageMaker HyperPod được cấu hình sẵn với Amazon SageMaker thư viện đào tạo phân tán, bao gồm cả Thư viện song song dữ liệu SageMaker (SMDDP) và Thư viện song song mô hình SageMaker (SMP), để cải thiện hiệu suất đào tạo FM bằng cách đơn giản hóa việc chia dữ liệu và mô hình đào tạo thành các phần nhỏ hơn và xử lý chúng song song trên các nút cụm, đồng thời sử dụng đầy đủ cơ sở hạ tầng mạng và điện toán của cụm. SageMaker HyperPod tích hợp Trình quản lý khối lượng công việc Slurm để điều phối công việc đào tạo và cụm.
Tổng quan về Trình quản lý khối lượng công việc Slurm
xì xụp, trước đây gọi là Tiện ích Linux đơn giản để quản lý tài nguyên, là một công cụ lập lịch công việc để chạy các công việc trên cụm máy tính phân tán. Nó cũng cung cấp một khuôn khổ để chạy các công việc song song bằng cách sử dụng Thư viện truyền thông tập thể NVIDIA (NCCL) or Giao diện truyền thông báo (MPI) tiêu chuẩn. Slurm là một hệ thống quản lý tài nguyên cụm nguồn mở phổ biến được sử dụng rộng rãi bởi điện toán hiệu năng cao (HPC) và khối lượng công việc đào tạo AI và FM tổng hợp. SageMaker HyperPod cung cấp một cách đơn giản để thiết lập và chạy với cụm Slurm chỉ trong vài phút.
Sau đây là sơ đồ kiến trúc cấp cao về cách người dùng tương tác với SageMaker HyperPod cũng như cách các thành phần cụm khác nhau tương tác với nhau và với các dịch vụ AWS khác, chẳng hạn như Amazon FSx cho ánh và Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3).
Các công việc của Slurm được gửi bằng các lệnh trên dòng lệnh. Các lệnh để chạy công việc Slurm là srun
và sbatch
. Các srun
lệnh chạy công việc đào tạo ở chế độ tương tác và chặn, đồng thời sbatch
chạy ở chế độ xử lý hàng loạt và không chặn. srun
chủ yếu được sử dụng để thực hiện các công việc ngay lập tức, trong khi sbatch
có thể được sử dụng cho các công việc sau này.
Để biết thông tin về các lệnh và cấu hình Slurm bổ sung, hãy tham khảo Tài liệu về Trình quản lý khối lượng công việc Slurm.
Khả năng tự động tiếp tục và chữa bệnh
Một trong những tính năng mới của SageMaker HyperPod là khả năng tự động tiếp tục công việc của bạn. Trước đây, khi nút công nhân bị lỗi trong quá trình đào tạo hoặc tinh chỉnh công việc, người dùng có trách nhiệm kiểm tra trạng thái công việc, khởi động lại công việc từ điểm kiểm tra mới nhất và tiếp tục theo dõi công việc trong toàn bộ quá trình chạy. Với các công việc đào tạo hoặc công việc tinh chỉnh cần chạy hàng ngày, hàng tuần hoặc thậm chí hàng tháng, điều này trở nên tốn kém do người dùng phải bỏ ra nhiều chu kỳ để theo dõi và duy trì công việc trong trường hợp có thêm chi phí quản trị. sự cố nút cũng như chi phí cho thời gian nhàn rỗi của các phiên bản điện toán tăng tốc tốn kém.
SageMaker HyperPod giải quyết khả năng phục hồi công việc bằng cách sử dụng các biện pháp kiểm tra tình trạng tự động, thay thế nút và khôi phục công việc. Các công việc Slurm trong SageMaker HyperPod được giám sát bằng plugin Slurm tùy chỉnh của SageMaker bằng cách sử dụng Khung SPANK. Khi công việc đào tạo không thành công, SageMaker HyperPod sẽ kiểm tra tình trạng của cụm thông qua một bộ kiểm tra tình trạng. Nếu tìm thấy nút bị lỗi trong cụm, SageMaker HyperPod sẽ tự động xóa nút đó khỏi cụm, thay thế bằng nút khỏe mạnh và bắt đầu lại công việc đào tạo. Khi sử dụng điểm kiểm tra trong công việc đào tạo, mọi công việc bị gián đoạn hoặc thất bại đều có thể tiếp tục từ điểm kiểm tra mới nhất.
Tổng quan về giải pháp
Để triển khai SageMaker HyperPod, trước tiên bạn hãy chuẩn bị môi trường bằng cách định cấu hình Đám mây riêng ảo Amazon Các nhóm bảo mật và mạng (Amazon VPC), triển khai các dịch vụ hỗ trợ như FSx cho Lustre trong VPC của bạn và xuất bản các tập lệnh vòng đời Slurm của bạn lên bộ chứa S3. Sau đó, bạn triển khai và đặt cấu hình SageMaker HyperPod và kết nối với nút đầu để bắt đầu công việc đào tạo của mình.
Điều kiện tiên quyết
Trước khi tạo SageMaker HyperPod, trước tiên bạn cần định cấu hình VPC, tạo hệ thống tệp FSx cho Lustre và thiết lập bộ chứa S3 với các tập lệnh vòng đời cụm mà bạn mong muốn. Bạn cũng cần phiên bản mới nhất của Giao diện dòng lệnh AWS (AWS CLI) và plugin CLI được cài đặt cho Trình quản lý phiên AWS, một khả năng của Người quản lý hệ thống AWS.
SageMaker HyperPod được tích hợp hoàn toàn với VPC của bạn. Để biết thông tin về cách tạo VPC mới, hãy xem Tạo VPC mặc định or Tạo một VPC. Để cho phép kết nối liền mạch với hiệu suất cao nhất giữa các tài nguyên, bạn nên tạo tất cả tài nguyên của mình trong cùng Khu vực và Vùng sẵn sàng, cũng như đảm bảo các quy tắc nhóm bảo mật liên quan cho phép kết nối giữa các tài nguyên cụm.
Tiếp theo bạn tạo một hệ thống tập tin FSx cho Lustre. Đây sẽ đóng vai trò là hệ thống tệp hiệu suất cao để sử dụng trong suốt quá trình đào tạo mô hình của chúng tôi. Đảm bảo rằng các nhóm bảo mật cụm và FSx for Lustre cho phép liên lạc vào và ra giữa các tài nguyên cụm và hệ thống tệp FSx for Lustre.
Để thiết lập tập lệnh vòng đời cụm, chạy khi xảy ra các sự kiện như phiên bản cụm mới, bạn tạo bộ chứa S3, sau đó sao chép và tùy chỉnh các tập lệnh vòng đời mặc định. Trong ví dụ này, chúng tôi lưu trữ tất cả các tập lệnh vòng đời trong tiền tố nhóm là lifecycle-scripts
.
Trước tiên, bạn tải xuống các tập lệnh vòng đời mẫu từ Repo GitHub. Bạn nên tùy chỉnh những điều này cho phù hợp với hành vi cụm mong muốn của bạn.
Tiếp theo, tạo vùng lưu trữ S3 để lưu trữ các tập lệnh vòng đời tùy chỉnh.
Tiếp theo, sao chép các tập lệnh vòng đời mặc định từ thư mục cục bộ của bạn sang nhóm và tiền tố mong muốn bằng cách sử dụng aws s3 sync
:
Cuối cùng, để thiết lập máy khách để đơn giản hóa kết nối tới nút chính của cụm, bạn nên cài đặt hoặc cập nhật AWS CLI và cài đặt Plugin CLI của Trình quản lý phiên AWS để cho phép các kết nối đầu cuối tương tác quản lý cụm và chạy các công việc đào tạo.
Bạn có thể tạo cụm SageMaker HyperPod với các tài nguyên có sẵn theo yêu cầu hoặc bằng cách yêu cầu đặt trước công suất với SageMaker. Để tạo dự trữ công suất, bạn tạo yêu cầu tăng hạn ngạch để dự trữ các loại phiên bản điện toán cụ thể và phân bổ công suất trên bảng thông tin Định mức dịch vụ.
Thiết lập cụm đào tạo của bạn
Để tạo cụm HyperPod SageMaker của bạn, hãy hoàn thành các bước sau:
- Trên bảng điều khiển SageMaker, chọn Quản lý cụm Dưới Cụm HyperPod trong khung điều hướng.
- Chọn Tạo một cụm.
- Nhà cung cấp tên cụm và tùy chọn bất kỳ thẻ nào để áp dụng cho tài nguyên cụm, sau đó chọn Sau.
- Chọn Tạo nhóm đối tượng và chỉ định tên nhóm phiên bản, loại phiên bản cần thiết, số lượng phiên bản mong muốn cũng như đường dẫn tiền tố và bộ chứa S3 nơi bạn đã sao chép các tập lệnh vòng đời cụm trước đó.
Bạn nên có các nhóm phiên bản khác nhau cho các nút điều khiển dùng để quản lý cụm và gửi công việc, còn các nút công nhân dùng để chạy các công việc đào tạo bằng cách sử dụng các phiên bản điện toán tăng tốc. Bạn có thể tùy ý định cấu hình một nhóm phiên bản bổ sung cho các nút đăng nhập.
- Trước tiên, bạn tạo nhóm phiên bản bộ điều khiển, nhóm này sẽ bao gồm nút chủ cụm.
- Đối với nhóm trường hợp này Quản lý truy cập và nhận dạng AWS (IAM), chọn Tạo một vai trò mới và chỉ định bất kỳ nhóm S3 nào mà bạn muốn các phiên bản cụm trong nhóm phiên bản có quyền truy cập.
Vai trò được tạo sẽ được cấp quyền truy cập chỉ đọc vào các nhóm được chỉ định theo mặc định.
- Chọn Tạo vai trò.
- Nhập tên tập lệnh sẽ chạy trên mỗi lần tạo phiên bản trong lời nhắc tập lệnh đang tạo. Trong ví dụ này, tập lệnh đang tạo được gọi
on_create.sh
. - Chọn Lưu.
- Chọn Tạo nhóm đối tượng để tạo nhóm cá thể công nhân của bạn.
- Cung cấp tất cả các chi tiết được yêu cầu, bao gồm loại phiên bản và số lượng mong muốn.
Ví dụ này sử dụng bốn phiên bản được tăng tốc ml.trn1.32xl để thực hiện công việc đào tạo của chúng tôi. Bạn có thể sử dụng vai trò IAM giống như trước đây hoặc tùy chỉnh vai trò cho các phiên bản nhân viên. Tương tự, bạn có thể sử dụng các tập lệnh vòng đời đang tạo khác cho nhóm phiên bản Worker này so với nhóm phiên bản trước đó.
- Chọn Sau tiến hành với.
- Chọn VPC, mạng con và nhóm bảo mật mong muốn cho các phiên bản cụm của bạn.
Chúng tôi lưu trữ các phiên bản cụm trong một Vùng sẵn sàng và mạng con duy nhất để đảm bảo độ trễ thấp.
Lưu ý rằng nếu bạn thường xuyên truy cập dữ liệu S3, bạn nên tạo điểm cuối VPC được liên kết với bảng định tuyến của mạng con riêng tư để giảm mọi chi phí truyền dữ liệu tiềm ẩn.
- Chọn Sau.
- Xem lại bản tóm tắt chi tiết cụm, sau đó chọn Gửi.
Ngoài ra, để tạo SageMaker HyperPod bằng AWS CLI, trước tiên hãy tùy chỉnh các tham số JSON được sử dụng để tạo cụm:
Sau đó sử dụng lệnh sau để tạo cụm bằng cách sử dụng các đầu vào được cung cấp:
Chạy công việc đào tạo đầu tiên của bạn với Llama 2
Lưu ý rằng việc sử dụng mô hình Llama 2 chịu sự điều chỉnh của giấy phép Meta. Để tải xuống trọng lượng mô hình và mã thông báo, hãy truy cập trang mạng và chấp nhận giấy phép trước khi yêu cầu quyền truy cập vào Trang web ôm mặt của Meta.
Sau khi cụm đang chạy, hãy đăng nhập bằng Trình quản lý phiên bằng id cụm, tên nhóm phiên bản và id phiên bản. Sử dụng lệnh sau để xem chi tiết cụm của bạn:
Ghi lại ID cụm có trong ARN cụm trong phản hồi.
Sử dụng lệnh sau để truy xuất tên nhóm phiên bản và ID phiên bản cần thiết để đăng nhập vào cụm.
Ghi lại InstanceGroupName
và InstanceId
trong phản hồi vì chúng sẽ được sử dụng để kết nối với phiên bản bằng Trình quản lý phiên.
Bây giờ bạn sử dụng Trình quản lý phiên để đăng nhập vào nút đầu hoặc một trong các nút đăng nhập và chạy công việc đào tạo của mình:
Tiếp theo, chúng ta sẽ chuẩn bị môi trường và tải xuống Llama 2 và tập dữ liệu RedPajama. Để có mã đầy đủ và hướng dẫn từng bước về điều này, hãy làm theo hướng dẫn trên Đào tạo phân tán tuyệt vời Kho lưu trữ GitHub.
Thực hiện theo các bước chi tiết trong 2.test_cases/8.neuronx-nemo-megatron/README.md
tài liệu. Sau khi làm theo các bước chuẩn bị môi trường, chuẩn bị mô hình, tải xuống và mã hóa tập dữ liệu cũng như biên dịch trước mô hình, bạn nên chỉnh sửa 6.pretrain-model.sh
script và sbatch
lệnh gửi công việc để bao gồm một tham số cho phép bạn tận dụng tính năng tự động tiếp tục của SageMaker HyperPod.
Chỉnh sửa sbatch
dòng trông giống như sau:
Sau khi gửi công việc, bạn sẽ nhận được JobID
mà bạn có thể sử dụng để kiểm tra trạng thái công việc bằng mã sau:
Ngoài ra, bạn có thể theo dõi công việc bằng cách theo dõi nhật ký đầu ra công việc bằng mã sau:
Làm sạch
Để xóa cụm SageMaker HyperPod của bạn, hãy sử dụng bảng điều khiển SageMaker hoặc lệnh AWS CLI sau:
Kết luận
Bài đăng này đã hướng dẫn bạn cách chuẩn bị môi trường AWS, triển khai cụm SageMaker HyperPod đầu tiên và huấn luyện mô hình Llama 7 có 2 tỷ tham số. SageMaker HyperPod hiện có sẵn rộng rãi ở các khu vực Châu Mỹ (Bắc Virginia, Ohio và Oregon), Châu Á Thái Bình Dương (Xinh-ga-po, Sydney và Tokyo) và Châu Âu (Frankfurt, Ireland và Stockholm). Chúng có thể được triển khai thông qua bảng điều khiển SageMaker, AWS CLI và AWS SDK, đồng thời hỗ trợ các dòng phiên bản p4d, p4de, p5, trn1, inf2, g5, c5, c5n, m5 và t3.
Để tìm hiểu thêm về SageMaker HyperPod, hãy truy cập Amazon SageMaker HyperPod.
Giới thiệu về tác giả
Brad Doran là Giám đốc tài khoản kỹ thuật cấp cao tại Amazon Web Services, tập trung vào AI sáng tạo. Anh ấy chịu trách nhiệm giải quyết các thách thức kỹ thuật cho khách hàng AI sáng tạo trong phân khúc thị trường kinh doanh bản địa kỹ thuật số. Anh ấy xuất thân từ nền tảng phát triển cơ sở hạ tầng và phần mềm và hiện đang theo học tiến sĩ và nghiên cứu về trí tuệ nhân tạo và học máy.
Keita Watanabe là Kiến trúc sư giải pháp chuyên gia GenAI cấp cao tại Amazon Web Services, nơi ông giúp phát triển các giải pháp máy học bằng cách sử dụng các dự án OSS như Slurm và Kubernetes. Nền tảng của ông là nghiên cứu và phát triển máy học. Trước khi gia nhập AWS, Keita đã làm việc trong ngành thương mại điện tử với tư cách là nhà khoa học nghiên cứu phát triển hệ thống truy xuất hình ảnh để tìm kiếm sản phẩm. Keita có bằng Tiến sĩ Khoa học tại Đại học Tokyo.
Justin Pirtle là Kiến trúc sư giải pháp chính tại Amazon Web Services. Ông thường xuyên tư vấn cho các khách hàng về AI trong việc thiết kế, triển khai và mở rộng quy mô cơ sở hạ tầng của họ. Anh là diễn giả thường xuyên tại các hội nghị của AWS, bao gồm cả re:Invent cũng như các sự kiện AWS khác. Justin có bằng cử nhân về Hệ thống thông tin quản lý của Đại học Texas ở Austin và bằng thạc sĩ về Kỹ thuật phần mềm của Đại học Seattle.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-to-train-foundation-models-at-scale/
- :là
- :Ở đâu
- $ LÊN
- 1
- 100
- 12
- 14
- 24
- 7
- a
- có khả năng
- Giới thiệu
- tăng tốc
- máy gia tốc
- Chấp nhận
- truy cập
- khả năng tiếp cận
- truy cập
- Tài khoản
- ngang qua
- Ngoài ra
- thêm vào
- địa chỉ
- thi hành
- hành chính
- Lợi thế
- Sau
- AI
- Tất cả
- phân bổ
- cho phép
- cho phép
- Ngoài ra
- đàn bà gan dạ
- Amazon SageMaker
- Amazon Web Services
- Châu Mỹ / USA
- số lượng
- an
- và
- bất kì
- Đăng Nhập
- kiến trúc
- LÀ
- nảy sinh
- nhân tạo
- trí tuệ nhân tạo
- Trí tuệ nhân tạo và học máy
- AS
- Á
- Châu á Thái Bình Dương
- liên kết
- At
- austin
- Tự động
- tự động
- sẵn có
- có sẵn
- AWS
- lý lịch
- BE
- trở thành
- trước
- giữa
- tỷ
- ngăn chặn
- xây dựng
- Xây dựng
- kinh doanh
- by
- gọi là
- CAN
- khả năng
- khả năng
- Sức chứa
- giám đốc điều hành
- thách thức
- thách thức
- Những thay đổi
- kiểm tra
- Séc
- Chọn
- khách hàng
- cụm
- mã
- Tập thể
- đến
- Giao tiếp
- Truyền thông
- công ty
- hoàn thành
- các thành phần
- Tính
- máy tính
- hội nghị
- Cấu hình
- cấu hình
- Kết nối
- liên quan
- Kết nối
- An ủi
- tiếp tục
- điều khiển
- Phí Tổn
- tốn kém
- Chi phí
- tạo
- Tạo
- tạo
- Hiện nay
- khách hàng
- khách hàng
- tùy chỉnh
- tùy chỉnh
- chu kỳ
- chu kỳ
- bảng điều khiển
- dữ liệu
- Ngày
- nhiều
- Mặc định
- Bằng cấp
- triển khai
- triển khai
- triển khai
- thiết kế
- mong muốn
- chi tiết
- chi tiết
- phát triển
- phát triển
- Phát triển
- khác nhau
- Lôi thôi
- kỹ thuật số
- Gián đoạn
- phân phối
- phân phối máy tính
- đào tạo phân tán
- tải về
- hai
- suốt trong
- mỗi
- thương mại điện tử
- hay
- loại bỏ
- cho phép
- Điểm cuối
- Kỹ Sư
- đảm bảo
- Toàn bộ
- Môi trường
- môi trường
- thành lập
- Ether (ETH)
- Châu Âu
- Ngay cả
- Sự kiện
- sự kiện
- ví dụ
- kích thích
- đắt tiền
- thêm
- Đối mặt
- thất bại
- không
- Không
- thất bại
- gia đình
- nhanh hơn
- bị lỗi
- Đặc tính
- Tính năng
- Tập tin
- Tên
- tập trung
- theo
- tiếp theo
- Trong
- trước kia
- tìm thấy
- Nền tảng
- người sáng lập
- Người sáng lập và Giám đốc điều hành
- 4
- Khung
- Frankfurt
- thường xuyên
- thường xuyên
- từ
- Full
- đầy đủ
- nói chung
- tạo ra
- thế hệ
- Trí tuệ nhân tạo
- được
- GitHub
- mục tiêu
- đi
- cai quản
- cấp
- Nhóm
- Các nhóm
- xử lý
- phần cứng
- Có
- có
- he
- cái đầu
- chữa bệnh
- cho sức khoẻ
- khỏe mạnh
- nặng
- nâng nặng
- giúp
- Cao
- High Performance Computing
- cấp độ cao
- hiệu suất cao
- cao nhất
- cao
- của mình
- giữ
- chủ nhà
- Độ đáng tin của
- Hướng dẫn
- hpc
- HTML
- http
- HTTPS
- Hàng trăm
- IAM
- ID
- Bản sắc
- Nhàn rỗi
- if
- hình ảnh
- lập tức
- thực hiện
- nâng cao
- in
- bao gồm
- bao gồm
- Bao gồm
- Tăng lên
- ngành công nghiệp
- thông tin
- Hệ thống Thông tin
- Cơ sở hạ tầng
- đầu vào
- cài đặt, dựng lên
- ví dụ
- trường hợp
- hướng dẫn
- tích hợp
- Tích hợp
- Sự thông minh
- tương tác
- tương tác
- Giao thức
- bị gián đoạn
- trong
- giới thiệu
- tham gia
- ireland
- các vấn đề
- IT
- Việc làm
- việc làm
- tham gia
- jpg
- json
- Justin
- nổi tiếng
- Kubernetes
- lớn
- quy mô lớn
- Độ trễ
- một lát sau
- mới nhất
- hàng đầu
- LEARN
- học tập
- thư viện
- Thư viện
- Giấy phép
- vòng đời
- nâng
- Lượt thích
- Dòng
- linux
- Loài đà mã ở nam mỹ
- địa phương
- đăng nhập
- đăng nhập
- Xem
- giống như
- mất
- Thấp
- máy
- học máy
- duy trì
- duy trì
- làm cho
- LÀM CHO
- Làm
- quản lý
- quản lý
- hệ thống quản lý
- giám đốc
- thị trường
- thạc sĩ
- chất
- Tối đa hóa
- Siêu dữ liệu
- phút
- ML
- Chế độ
- kiểu mẫu
- mô hình
- hiện đại
- Màn Hình
- theo dõi
- giám sát
- tháng
- chi tiết
- chủ yếu
- tên
- tự nhiên
- THÔNG TIN
- Cần
- cần thiết
- cần
- mạng
- Mới
- Các tính năng mới
- nút
- các nút
- ghi
- tại
- Nvidia
- xảy ra
- of
- Ohio
- on
- Theo yêu cầu
- ONE
- mở
- mã nguồn mở
- hoạt động
- hoạt động
- tối ưu hóa
- tối ưu hóa
- or
- dàn nhạc
- Oregon
- Oss
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- đầu ra
- kết thúc
- Hòa bình
- cửa sổ
- Song song
- tham số
- thông số
- Đi qua
- con đường
- thực hiện
- hiệu suất
- Bằng tiến sĩ
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Plugin
- Phổ biến
- Bài đăng
- tiềm năng
- Chuẩn bị
- trước
- trước đây
- Hiệu trưởng
- Trước khi
- riêng
- Chủ động
- tiến hành
- xử lý
- Sản phẩm
- Tiến độ
- dự án
- cung cấp
- cung cấp
- cung cấp
- Xuất bản
- theo đuổi
- số lượng, lượng
- RE
- đề nghị
- phục hồi
- giảm
- xem
- khu
- vùng
- đều đặn
- thường xuyên
- tẩy
- sửa
- thay thế
- thay thế
- yêu cầu
- yêu cầu
- yêu cầu
- đòi hỏi
- nghiên cứu
- nghiên cứu và phát triển
- đặt phòng
- Dự trữ
- đàn hồi
- tài nguyên
- Thông tin
- phản ứng
- chịu trách nhiệm
- tiếp tục
- Vai trò
- định tuyến
- quy tắc
- chạy
- chạy
- chạy
- nhà làm hiền triết
- tương tự
- Lưu
- Quy mô
- mở rộng quy mô
- Khoa học
- Nhà khoa học
- kịch bản
- kịch bản
- sdk
- liền mạch
- Tìm kiếm
- Seattle
- an ninh
- xem
- phân khúc
- cao cấp
- phục vụ
- dịch vụ
- DỊCH VỤ
- Phiên
- định
- Chia sẻ
- nên
- cho thấy
- Tương tự
- Đơn giản
- đơn giản hóa
- Singapore
- duy nhất
- nhỏ hơn
- Phần mềm
- phát triển phần mềm
- kỹ thuật phần mềm
- Giải pháp
- Giải quyết
- nguồn
- Loa
- chuyên gia
- riêng
- quy định
- tiêu
- chia
- Tính ổn định
- ổn định
- tiêu chuẩn
- Bắt đầu
- nhà nước-of-the-art
- Trạng thái
- Các bước
- là gắn
- hàng
- đơn giản
- nghiên cứu
- nộp hồ sơ
- trình
- trình
- subnet
- như vậy
- Bộ đồ
- bộ
- TÓM TẮT
- hỗ trợ
- Hỗ trợ
- chắc chắn
- sydney
- đồng bộ hóa.
- hệ thống
- hệ thống
- bàn
- Hãy
- Kỹ thuật
- hàng chục
- Thiết bị đầu cuối
- texas
- hơn
- việc này
- Sản phẩm
- cung cấp their dịch
- Them
- sau đó
- Kia là
- họ
- điều này
- hàng ngàn
- Thông qua
- khắp
- thời gian
- đến
- bây giờ
- token hóa
- tokyo
- Train
- Hội thảo
- chuyển
- kiểu
- loại
- Dưới
- trường đại học
- Đại học Tokyo
- Cập nhật
- sử dụng
- đã sử dụng
- người sử dang
- Người sử dụng
- sử dụng
- sử dụng
- tiện ích
- Bằng cách sử dụng
- khác nhau
- Lớn
- phiên bản
- thông qua
- Xem
- virginia
- ảo
- Truy cập
- hương
- là
- Đường..
- we
- web
- các dịch vụ web
- tuần
- TỐT
- khi nào
- cái nào
- trong khi
- rộng rãi
- Wikipedia
- sẽ
- với
- ở trong
- không có
- làm việc
- công nhân
- sẽ
- bạn
- trên màn hình
- zephyrnet