Các mô hình nền tảng ở biên – IBM Blog

Các mô hình nền tảng (FM) đang đánh dấu sự khởi đầu của một kỷ nguyên mới trong học máy (ML) và trí tuệ nhân tạo (AI), điều này dẫn đến sự phát triển nhanh hơn của AI, có thể thích ứng với nhiều nhiệm vụ tiếp theo và được tinh chỉnh cho một loạt ứng dụng. 

Với tầm quan trọng ngày càng tăng của việc xử lý dữ liệu tại nơi thực hiện công việc, việc cung cấp các mô hình AI ở biên doanh nghiệp cho phép dự đoán gần như theo thời gian thực, đồng thời tuân thủ các yêu cầu về quyền riêng tư và chủ quyền dữ liệu. Bằng cách kết hợp các IBM Watsonx dữ liệu và khả năng nền tảng AI cho FM với tính toán biên, doanh nghiệp có thể chạy khối lượng công việc AI để tinh chỉnh và suy luận FM ở biên hoạt động. Điều này cho phép doanh nghiệp mở rộng quy mô triển khai AI ở biên, giảm thời gian và chi phí triển khai với thời gian phản hồi nhanh hơn.

Vui lòng đảm bảo xem tất cả các phần trong loạt bài đăng blog này về điện toán biên:

Các mô hình nền tảng là gì?

Các mô hình nền tảng (FM), được đào tạo trên một tập hợp lớn dữ liệu chưa được gắn nhãn trên quy mô lớn, đang thúc đẩy các ứng dụng trí tuệ nhân tạo (AI) tiên tiến nhất. Chúng có thể được điều chỉnh phù hợp với nhiều nhiệm vụ tiếp theo và được tinh chỉnh cho nhiều ứng dụng. Các mô hình AI hiện đại, thực hiện các nhiệm vụ cụ thể trong một miền duy nhất, đang nhường chỗ cho FM vì chúng học tổng quát hơn và hoạt động trên nhiều lĩnh vực và vấn đề. Đúng như tên gọi, FM có thể là nền tảng cho nhiều ứng dụng của mô hình AI.

FM giải quyết hai thách thức chính khiến các doanh nghiệp không thể mở rộng quy mô áp dụng AI. Đầu tiên, các doanh nghiệp sản xuất một lượng lớn dữ liệu chưa được gắn nhãn, chỉ một phần nhỏ trong số đó được gắn nhãn để đào tạo mô hình AI. Thứ hai, nhiệm vụ ghi nhãn và chú thích này cực kỳ tốn nhiều công sức của con người, thường đòi hỏi thời gian của một chuyên gia về chủ đề (SME) hàng trăm giờ. Điều này khiến cho việc mở rộng quy mô theo các trường hợp sử dụng trở nên tốn kém vì nó sẽ đòi hỏi đội quân gồm các doanh nghiệp vừa và nhỏ và các chuyên gia dữ liệu. Bằng cách sử dụng lượng lớn dữ liệu chưa được gắn nhãn và sử dụng các kỹ thuật tự giám sát để đào tạo mô hình, FM đã loại bỏ những trở ngại này và mở ra con đường cho việc áp dụng AI trên diện rộng trên toàn doanh nghiệp. Lượng dữ liệu khổng lồ tồn tại trong mọi doanh nghiệp này đang chờ được giải phóng để thúc đẩy hiểu biết sâu sắc.

Mô hình ngôn ngữ lớn là gì?

Các mô hình ngôn ngữ lớn (LLM) là một lớp mô hình nền tảng (FM) bao gồm các lớp mạng thần kinh đã được đào tạo về lượng dữ liệu khổng lồ chưa được gắn nhãn này. Họ sử dụng các thuật toán học tập tự giám sát để thực hiện nhiều hoạt động khác nhau. xử lý ngôn ngữ tự nhiên (NLP) nhiệm vụ theo cách tương tự như cách con người sử dụng ngôn ngữ (xem Hình 1).

Mở rộng quy mô và tăng tốc tác động của AI

Có một số bước để xây dựng và triển khai mô hình nền tảng (FM). Chúng bao gồm nhập dữ liệu, chọn dữ liệu, xử lý trước dữ liệu, đào tạo trước FM, điều chỉnh mô hình cho một hoặc nhiều nhiệm vụ hạ nguồn, cung cấp suy luận cũng như quản lý vòng đời và dữ liệu cũng như mô hình AI—tất cả đều có thể được mô tả là FMOps.

Để hỗ trợ tất cả những điều này, IBM đang cung cấp cho các doanh nghiệp những công cụ và khả năng cần thiết để tận dụng sức mạnh của các FM này thông qua IBM Watsonx, một nền tảng dữ liệu và AI sẵn sàng cho doanh nghiệp được thiết kế để nhân rộng tác động của AI trên toàn doanh nghiệp. IBM watsonx bao gồm:

1. IBM watsonx.ai mang đến cái mới trí tuệ nhân tạo các khả năng—được hỗ trợ bởi FM và máy học (ML) truyền thống—vào một studio mạnh mẽ trải dài vòng đời AI.
2. IBM watsonx.data là kho lưu trữ dữ liệu phù hợp với mục đích được xây dựng trên kiến ​​trúc lakehouse mở để mở rộng quy mô khối lượng công việc AI cho tất cả dữ liệu của bạn ở mọi nơi.
3. IBM watsonx.governance là bộ công cụ quản trị vòng đời AI tự động từ đầu đến cuối được xây dựng để hỗ trợ các quy trình làm việc AI có trách nhiệm, minh bạch và có thể giải thích được.

Một yếu tố quan trọng khác là tầm quan trọng ngày càng tăng của điện toán ở biên doanh nghiệp, chẳng hạn như các địa điểm công nghiệp, nhà máy sản xuất, cửa hàng bán lẻ, địa điểm viễn thông, v.v. Cụ thể hơn, AI ở biên doanh nghiệp cho phép xử lý dữ liệu ở nơi công việc đang được thực hiện. phân tích gần thời gian thực. Biên doanh nghiệp là nơi tạo ra lượng lớn dữ liệu doanh nghiệp và là nơi AI có thể cung cấp những hiểu biết kinh doanh có giá trị, kịp thời và có thể hành động.

Việc cung cấp các mô hình AI ở biên cho phép dự đoán gần như theo thời gian thực trong khi vẫn tuân thủ các yêu cầu về quyền riêng tư và chủ quyền dữ liệu. Điều này làm giảm đáng kể độ trễ thường liên quan đến việc thu thập, truyền tải, chuyển đổi và xử lý dữ liệu kiểm tra. Làm việc ở biên cho phép chúng tôi bảo vệ dữ liệu nhạy cảm của doanh nghiệp và giảm chi phí truyền dữ liệu với thời gian phản hồi nhanh hơn.

Tuy nhiên, việc mở rộng quy mô triển khai AI ở biên không phải là một nhiệm vụ dễ dàng trong bối cảnh có những thách thức liên quan đến dữ liệu (không đồng nhất, khối lượng và quy định) và các tài nguyên bị hạn chế (điện toán, kết nối mạng, lưu trữ và thậm chí cả kỹ năng CNTT). Chúng có thể được mô tả rộng rãi thành hai loại:

• Thời gian/chi phí triển khai: Mỗi lần triển khai bao gồm một số lớp phần cứng và phần mềm cần được cài đặt, định cấu hình và kiểm tra trước khi triển khai. Ngày nay, một chuyên gia dịch vụ có thể mất đến một hoặc hai tuần để lắp đặt tại mỗi địa điểm, hạn chế nghiêm trọng tốc độ các doanh nghiệp có thể mở rộng quy mô triển khai trên toàn tổ chức của mình một cách nhanh chóng và tiết kiệm chi phí.                                  
• Quản lý ngày thứ 2: Số lượng lớn các biên được triển khai và vị trí địa lý của mỗi lần triển khai thường có thể khiến việc cung cấp hỗ trợ CNTT cục bộ tại mỗi địa điểm để giám sát, duy trì và cập nhật các hoạt động triển khai này trở nên cực kỳ tốn kém.

Triển khai Edge AI

IBM đã phát triển một kiến ​​trúc biên nhằm giải quyết những thách thức này bằng cách đưa mô hình thiết bị phần cứng/phần mềm (HW/SW) tích hợp vào triển khai AI biên. Nó bao gồm một số mô hình chính hỗ trợ khả năng mở rộng triển khai AI:

• Cung cấp toàn bộ phần mềm một cách dễ dàng, dựa trên chính sách.
• Giám sát liên tục tình trạng hệ thống biên
• Khả năng quản lý và đẩy các bản cập nhật phần mềm/bảo mật/cấu hình đến nhiều vị trí biên—tất cả đều từ một vị trí dựa trên đám mây trung tâm để quản lý ngày thứ 2.

Kiến trúc hub-and-spoke phân tán có thể được sử dụng để mở rộng quy mô triển khai AI của doanh nghiệp ở biên, trong đó đám mây trung tâm hoặc trung tâm dữ liệu doanh nghiệp hoạt động như một trung tâm và thiết bị edge-in-a-box hoạt động như một nan hoa ở một vị trí biên. Mô hình trung tâm và nan hoa này, mở rộng trên các môi trường đám mây kết hợp và biên, minh họa rõ nhất sự cân bằng cần thiết để sử dụng tối ưu các tài nguyên cần thiết cho hoạt động FM (xem Hình 2).

Việc đào tạo trước các mô hình ngôn ngữ lớn (LLM) cơ sở này và các loại mô hình nền tảng khác sử dụng kỹ thuật tự giám sát trên các tập dữ liệu lớn không được gắn nhãn thường cần tài nguyên điện toán (GPU) đáng kể và được thực hiện tốt nhất tại một trung tâm. Tài nguyên tính toán gần như vô hạn và các kho dữ liệu lớn thường được lưu trữ trên đám mây cho phép đào tạo trước các mô hình tham số lớn và liên tục cải thiện độ chính xác của các mô hình nền tảng cơ sở này.

Mặt khác, việc điều chỉnh các FM cơ sở này cho các tác vụ xuôi dòng—chỉ yêu cầu vài chục hoặc hàng trăm mẫu dữ liệu được gắn nhãn và cung cấp suy luận—có thể được thực hiện chỉ với một vài GPU ở biên doanh nghiệp. Điều này cho phép dữ liệu được gắn nhãn nhạy cảm (hoặc dữ liệu quý giá của doanh nghiệp) được lưu giữ an toàn trong môi trường hoạt động của doanh nghiệp đồng thời giảm chi phí truyền dữ liệu.

Bằng cách sử dụng cách tiếp cận toàn diện để triển khai các ứng dụng ở biên, nhà khoa học dữ liệu có thể thực hiện tinh chỉnh, thử nghiệm và triển khai các mô hình. Điều này có thể được thực hiện trong một môi trường duy nhất đồng thời rút ngắn vòng đời phát triển để cung cấp các mô hình AI mới cho người dùng cuối. Các nền tảng như Red Hat OpenShift Data Science (RHODS) và Red Hat OpenShift AI được công bố gần đây cung cấp các công cụ để nhanh chóng phát triển và triển khai các mô hình AI sẵn sàng sản xuất trong đám mây phân tán và môi trường biên.

Cuối cùng, việc cung cấp mô hình AI được tinh chỉnh ở biên doanh nghiệp giúp giảm đáng kể độ trễ thường liên quan đến việc thu thập, truyền tải, chuyển đổi và xử lý dữ liệu. Việc tách quá trình đào tạo trước trên đám mây khỏi tinh chỉnh và suy luận ở biên giúp giảm chi phí vận hành tổng thể bằng cách giảm thời gian cần thiết và chi phí di chuyển dữ liệu liên quan đến bất kỳ tác vụ suy luận nào (xem Hình 3).

Để chứng minh đề xuất giá trị này từ đầu đến cuối, một mô hình nền tảng dựa trên biến đổi tầm nhìn mẫu mực cho cơ sở hạ tầng dân sự (được đào tạo trước bằng cách sử dụng bộ dữ liệu công cộng và dành riêng cho ngành tùy chỉnh) đã được tinh chỉnh và triển khai để suy luận trên cạnh ba nút (nói) cụm. Nhóm phần mềm bao gồm Nền tảng vùng chứa OpenShift của Red Hat và Khoa học dữ liệu OpenShift của Red Hat. Cụm biên này cũng được kết nối với một phiên bản của trung tâm Quản lý cụm nâng cao Red Hat dành cho Kubernetes (RHACM) chạy trên đám mây.

Cung cấp không chạm

Việc cung cấp không cần chạm, dựa trên chính sách đã được thực hiện với Quản lý cụm nâng cao của Red Hat cho Kubernetes (RHACM) thông qua các chính sách và thẻ vị trí, liên kết các cụm biên cụ thể với một tập hợp các thành phần và cấu hình phần mềm. Các thành phần phần mềm này—mở rộng trên toàn bộ ngăn xếp và bao gồm khối lượng công việc điện toán, lưu trữ, mạng và AI—được cài đặt bằng nhiều toán tử OpenShift khác nhau, cung cấp các dịch vụ ứng dụng cần thiết và S3 Bucket (lưu trữ).

Mô hình nền tảng được đào tạo trước (FM) dành cho cơ sở hạ tầng dân dụng đã được tinh chỉnh thông qua Jupyter Notebook trong Red Hat OpenShift Data Science (RHODS) bằng cách sử dụng dữ liệu được dán nhãn để phân loại sáu loại khiếm khuyết được tìm thấy trên cầu bê tông. Việc phục vụ suy luận của FM tinh chỉnh này cũng được thể hiện bằng máy chủ Triton. Hơn nữa, việc theo dõi tình trạng của hệ thống biên này có thể thực hiện được bằng cách tổng hợp các số liệu về khả năng quan sát từ các thành phần phần cứng và phần mềm thông qua Prometheus đến bảng điều khiển RHACM trung tâm trên đám mây. Các doanh nghiệp cơ sở hạ tầng dân dụng có thể triển khai các FM này tại các vị trí biên của họ và sử dụng hình ảnh từ máy bay không người lái để phát hiện các khiếm khuyết gần thời gian thực—tăng tốc thời gian thu thập thông tin chuyên sâu và giảm chi phí di chuyển khối lượng lớn dữ liệu độ phân giải cao đến và từ Đám mây.

Tổng kết

Kết hợp IBM Watsonx Khả năng dữ liệu và nền tảng AI cho các mô hình nền tảng (FM) với thiết bị Edge-in-a-box cho phép doanh nghiệp chạy khối lượng công việc AI để tinh chỉnh và suy luận FM ở biên hoạt động. Thiết bị này có thể xử lý ngay các trường hợp sử dụng phức tạp và xây dựng khuôn khổ trung tâm và nan hoa để quản lý tập trung, tự động hóa và tự phục vụ. Việc triển khai Edge FM có thể giảm từ vài tuần xuống còn vài giờ với thành công lặp lại, khả năng phục hồi và bảo mật cao hơn.

Tìm hiểu thêm về các mô hình nền tảng

Vui lòng đảm bảo xem tất cả các phần trong loạt bài đăng blog này về điện toán biên: