Khả năng phục hồi đóng một vai trò quan trọng trong việc phát triển bất kỳ khối lượng công việc nào và trí tuệ nhân tạo khối lượng công việc không khác nhau. Có những cân nhắc đặc biệt khi thiết kế khối lượng công việc AI tổng hợp thông qua lăng kính khả năng phục hồi. Hiểu và ưu tiên khả năng phục hồi là rất quan trọng đối với khối lượng công việc AI tổng quát nhằm đáp ứng các yêu cầu về tính sẵn sàng của tổ chức và tính liên tục trong kinh doanh. Trong bài đăng này, chúng tôi thảo luận về các nhóm khối lượng công việc AI tổng hợp khác nhau và những điều cần cân nhắc.
AI tạo toàn ngăn xếp
Mặc dù rất nhiều điều thú vị xung quanh việc tạo ra AI tập trung vào các mô hình, nhưng một giải pháp hoàn chỉnh cần có sự tham gia của con người, kỹ năng và công cụ từ một số lĩnh vực. Hãy xem xét hình ảnh sau đây, đây là chế độ xem AWS về ngăn xếp ứng dụng mới nổi a16z dành cho các mô hình ngôn ngữ lớn (LLM).
So với giải pháp truyền thống hơn được xây dựng dựa trên AI và học máy (ML), giải pháp AI tổng quát hiện bao gồm những điều sau:
- Vai trò mới – Bạn phải xem xét bộ điều chỉnh mô hình cũng như người xây dựng mô hình và nhà tích hợp mô hình
- Công cụ mới – Ngăn xếp MLOps truyền thống không mở rộng để bao gồm loại theo dõi thử nghiệm hoặc khả năng quan sát cần thiết cho kỹ thuật nhanh chóng hoặc các tác nhân gọi công cụ để tương tác với các hệ thống khác
Lý do tác nhân
Không giống như các mô hình AI truyền thống, Thế hệ tăng cường truy xuất (RAG) cho phép phản hồi chính xác hơn và phù hợp với ngữ cảnh hơn bằng cách tích hợp các nguồn kiến thức bên ngoài. Sau đây là một số lưu ý khi sử dụng RAG:
- Việc đặt thời gian chờ thích hợp rất quan trọng đối với trải nghiệm của khách hàng. Không có gì nói lên trải nghiệm người dùng tồi tệ hơn việc đang ở giữa cuộc trò chuyện và bị ngắt kết nối.
- Đảm bảo xác thực dữ liệu đầu vào lời nhắc và kích thước đầu vào lời nhắc đối với các giới hạn ký tự được phân bổ do mô hình của bạn xác định.
- Nếu bạn đang thực hiện kỹ thuật nhắc nhở, bạn nên lưu giữ lời nhắc của mình đến một kho lưu trữ dữ liệu đáng tin cậy. Điều đó sẽ bảo vệ lời nhắc của bạn trong trường hợp mất mát vô tình hoặc là một phần của chiến lược khắc phục thảm họa tổng thể của bạn.
Đường ống dẫn dữ liệu
Trong trường hợp bạn cần cung cấp dữ liệu theo ngữ cảnh cho mô hình nền tảng bằng mẫu RAG, bạn cần một đường ống dữ liệu có thể nhập dữ liệu nguồn, chuyển đổi nó thành vectơ nhúng và lưu trữ vectơ nhúng trong cơ sở dữ liệu vectơ. Quy trình này có thể là quy trình hàng loạt nếu bạn chuẩn bị trước dữ liệu theo ngữ cảnh hoặc quy trình có độ trễ thấp nếu bạn đang kết hợp dữ liệu theo ngữ cảnh mới một cách nhanh chóng. Trong trường hợp hàng loạt, có một số thách thức so với các đường dẫn dữ liệu thông thường.
Nguồn dữ liệu có thể là tài liệu PDF trên hệ thống tệp, dữ liệu từ hệ thống phần mềm dưới dạng dịch vụ (SaaS) như công cụ CRM hoặc dữ liệu từ cơ sở kiến thức hoặc wiki hiện có. Việc nhập từ các nguồn này khác với các nguồn dữ liệu thông thường như dữ liệu nhật ký trong Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) hoặc dữ liệu có cấu trúc từ cơ sở dữ liệu quan hệ. Mức độ song song mà bạn có thể đạt được có thể bị giới hạn bởi hệ thống nguồn, do đó bạn cần tính đến việc điều chỉnh và sử dụng các kỹ thuật quay lại. Một số hệ thống nguồn có thể dễ hỏng, vì vậy bạn cần xây dựng logic xử lý lỗi và thử lại.
Mô hình nhúng có thể là một nút thắt cổ chai về hiệu suất, bất kể bạn chạy nó cục bộ trong quy trình hay gọi một mô hình bên ngoài. Mô hình nhúng là mô hình nền tảng chạy trên GPU và không có dung lượng vô hạn. Nếu mô hình chạy cục bộ, bạn cần phân công công việc dựa trên dung lượng GPU. Nếu mô hình chạy bên ngoài, bạn cần đảm bảo rằng bạn không làm bão hòa mô hình bên ngoài. Trong cả hai trường hợp, mức độ song song mà bạn có thể đạt được sẽ được quyết định bởi mô hình nhúng thay vì số lượng CPU và RAM bạn có sẵn trong hệ thống xử lý hàng loạt.
Trong trường hợp độ trễ thấp, bạn cần tính đến thời gian cần thiết để tạo vectơ nhúng. Ứng dụng gọi điện sẽ gọi đường dẫn không đồng bộ.
cơ sở dữ liệu vectơ
Cơ sở dữ liệu vectơ có hai chức năng: lưu trữ các vectơ nhúng và chạy tìm kiếm tương tự để tìm điểm gần nhất k khớp với một vectơ mới. Có ba loại cơ sở dữ liệu vectơ chung:
- Các tùy chọn SaaS chuyên dụng như Pinecone.
- Các tính năng cơ sở dữ liệu vectơ được tích hợp trong các dịch vụ khác. Điều này bao gồm các dịch vụ AWS gốc như Dịch vụ Tìm kiếm Mở của Amazon và Amazon cực quang.
- Các tùy chọn trong bộ nhớ có thể được sử dụng cho dữ liệu nhất thời trong các tình huống có độ trễ thấp.
Chúng tôi không trình bày chi tiết về khả năng tìm kiếm điểm tương đồng trong bài đăng này. Mặc dù chúng quan trọng nhưng chúng là một khía cạnh chức năng của hệ thống và không ảnh hưởng trực tiếp đến khả năng phục hồi. Thay vào đó, chúng tôi tập trung vào các khía cạnh phục hồi của cơ sở dữ liệu vectơ dưới dạng hệ thống lưu trữ:
- Độ trễ – Cơ sở dữ liệu vectơ có thể hoạt động tốt trước tải cao hoặc không thể đoán trước được không? Nếu không, ứng dụng gọi điện cần xử lý việc giới hạn tốc độ, chờ đợi và thử lại.
- khả năng mở rộng – Hệ có thể chứa bao nhiêu vectơ? Nếu vượt quá dung lượng của cơ sở dữ liệu vectơ, bạn sẽ cần xem xét phân đoạn hoặc các giải pháp khác.
- Tính sẵn sàng cao và khắc phục thảm họa – Việc nhúng vectơ là dữ liệu có giá trị và việc tạo lại chúng có thể tốn kém. Cơ sở dữ liệu vectơ của bạn có khả dụng cao ở một Khu vực AWS không? Liệu nó có khả năng sao chép dữ liệu sang Khu vực khác cho mục đích khắc phục thảm họa không?
Cấp ứng dụng
Có ba điểm cần cân nhắc riêng cho tầng ứng dụng khi tích hợp các giải pháp AI tổng quát:
- Có khả năng có độ trễ cao – Các mô hình nền tảng thường chạy trên các phiên bản GPU lớn và có thể có dung lượng hữu hạn. Đảm bảo sử dụng các phương pháp hay nhất để giới hạn tốc độ, chờ và thử lại cũng như sa thải tải. Sử dụng thiết kế không đồng bộ để độ trễ cao không ảnh hưởng đến giao diện chính của ứng dụng.
- Tư thế an ninh – Nếu bạn đang sử dụng tác nhân, công cụ, plugin hoặc các phương pháp khác để kết nối mô hình với các hệ thống khác, hãy chú ý hơn đến tình hình bảo mật của bạn. Các mô hình có thể cố gắng tương tác với các hệ thống này theo những cách không ngờ tới. Thực hiện theo thông lệ thông thường về quyền truy cập có đặc quyền thấp nhất, ví dụ như hạn chế lời nhắc đến từ các hệ thống khác.
- Các framework phát triển nhanh chóng – Các framework nguồn mở như LangChain đang phát triển nhanh chóng. Sử dụng phương pháp vi dịch vụ để tách biệt các thành phần khác khỏi các khung kém hoàn thiện này.
Sức chứa
Chúng ta có thể nghĩ về năng lực trong hai bối cảnh: đường dẫn dữ liệu mô hình suy luận và đào tạo. Năng lực là một yếu tố cần được cân nhắc khi các tổ chức đang xây dựng quy trình của riêng mình. Yêu cầu về CPU và bộ nhớ là hai trong số những yêu cầu lớn nhất khi chọn phiên bản để chạy khối lượng công việc của bạn.
Các phiên bản có thể hỗ trợ khối lượng công việc AI tổng hợp có thể khó có được hơn so với loại phiên bản có mục đích chung thông thường. Tính linh hoạt của phiên bản có thể giúp lập kế hoạch năng lực và năng lực. Tùy thuộc vào Khu vực AWS mà bạn đang chạy khối lượng công việc của mình, sẽ có sẵn các loại phiên bản khác nhau.
Đối với những hành trình quan trọng của người dùng, các tổ chức sẽ muốn xem xét việc đặt trước hoặc cung cấp trước các loại phiên bản để đảm bảo tính khả dụng khi cần. Mẫu này đạt được kiến trúc ổn định tĩnh, đây là phương pháp hay nhất về khả năng phục hồi. Để tìm hiểu thêm về độ ổn định tĩnh trong trụ cột về độ tin cậy của Khung kiến trúc tối ưu AWS, hãy tham khảo Sử dụng tính ổn định tĩnh để ngăn chặn hành vi lưỡng kim.
Khả năng quan sát
Bên cạnh các số liệu tài nguyên bạn thường thu thập, như mức sử dụng CPU và RAM, bạn cần giám sát chặt chẽ việc sử dụng GPU nếu bạn lưu trữ một mô hình trên Amazon SageMaker or Đám mây điện toán đàn hồi Amazon (Amazon EC2). Việc sử dụng GPU có thể thay đổi bất ngờ nếu mô hình cơ sở hoặc dữ liệu đầu vào thay đổi và việc hết bộ nhớ GPU có thể khiến hệ thống rơi vào trạng thái không ổn định.
Ở cấp độ cao hơn, bạn cũng sẽ muốn theo dõi luồng cuộc gọi trong hệ thống, nắm bắt các tương tác giữa các tác nhân và công cụ. Vì giao diện giữa các tác nhân và công cụ ít được xác định chính thức hơn hợp đồng API nên bạn nên theo dõi những dấu vết này không chỉ về hiệu suất mà còn để nắm bắt các tình huống lỗi mới. Để giám sát mô hình hoặc tác nhân xem có bất kỳ rủi ro và mối đe dọa bảo mật nào không, bạn có thể sử dụng các công cụ như nhiệm vụ bảo vệ amazon.
Bạn cũng nên nắm bắt các đường cơ sở của vectơ nhúng, lời nhắc, bối cảnh và đầu ra cũng như sự tương tác giữa chúng. Nếu những thay đổi này theo thời gian, điều đó có thể cho thấy rằng người dùng đang sử dụng hệ thống theo những cách mới, dữ liệu tham chiếu không bao trùm không gian câu hỏi theo cùng một cách hoặc đầu ra của mô hình đột nhiên khác nhau.
Khôi phục thảm họa
Việc lập kế hoạch kinh doanh liên tục cùng với chiến lược khắc phục thảm họa là điều bắt buộc đối với bất kỳ khối lượng công việc nào. Khối lượng công việc AI tạo ra cũng không khác. Hiểu các chế độ lỗi áp dụng cho khối lượng công việc của bạn sẽ giúp định hướng chiến lược của bạn. Nếu bạn đang sử dụng các dịch vụ được quản lý AWS cho khối lượng công việc của mình, chẳng hạn như nền tảng Amazon và SageMaker, hãy đảm bảo dịch vụ này có sẵn ở Khu vực AWS khôi phục của bạn. Theo văn bản này, các dịch vụ AWS này không hỗ trợ sao chép dữ liệu nguyên bản trên các Khu vực AWS, vì vậy, bạn cần suy nghĩ về các chiến lược quản lý dữ liệu của mình để khắc phục thảm họa và bạn cũng có thể cần phải tinh chỉnh ở nhiều Khu vực AWS.
Kết luận
Bài đăng này mô tả cách tính đến khả năng phục hồi khi xây dựng các giải pháp AI tổng quát. Mặc dù các ứng dụng AI tổng quát có một số sắc thái thú vị nhưng các mô hình phục hồi hiện có và các phương pháp hay nhất vẫn được áp dụng. Đó chỉ là vấn đề đánh giá từng phần của ứng dụng AI tổng quát và áp dụng các phương pháp hay nhất có liên quan.
Để biết thêm thông tin về AI tổng hợp và cách sử dụng nó với các dịch vụ AWS, hãy tham khảo các tài nguyên sau:
Về các tác giả
Jennifer Moran là Kiến trúc sư giải pháp chuyên gia về khả năng phục hồi cấp cao của AWS có trụ sở tại Thành phố New York. Cô có nền tảng kiến thức đa dạng, từng làm việc trong nhiều lĩnh vực kỹ thuật, bao gồm phát triển phần mềm, khả năng lãnh đạo linh hoạt và DevOps, đồng thời là người ủng hộ phụ nữ trong lĩnh vực công nghệ. Cô thích giúp khách hàng thiết kế các giải pháp kiên cường để cải thiện tư thế kiên cường và phát biểu công khai về tất cả các chủ đề liên quan đến khả năng phục hồi.
Randy DeFauw là Kiến trúc sư giải pháp chính cấp cao tại AWS. Anh ấy có bằng MSEE của Đại học Michigan, nơi anh ấy nghiên cứu về thị giác máy tính cho xe tự hành. Ông cũng có bằng MBA của Đại học Bang Colorado. Randy đã đảm nhiệm nhiều vị trí khác nhau trong lĩnh vực công nghệ, từ kỹ thuật phần mềm đến quản lý sản phẩm. Anh ấy bước vào không gian dữ liệu lớn vào năm 2013 và tiếp tục khám phá lĩnh vực đó. Anh ấy đang tích cực thực hiện các dự án trong không gian ML và đã trình bày tại nhiều hội nghị, bao gồm Strata và GlueCon.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/designing-generative-ai-workloads-for-resilience/
- : có
- :là
- :không phải
- :Ở đâu
- $ LÊN
- 100
- 2013
- 90
- a
- a16z
- có khả năng
- Giới thiệu
- truy cập
- tình cờ
- Tài khoản
- chính xác
- Đạt được
- Đạt được
- ngang qua
- tích cực
- tiến
- biện hộ
- ảnh hưởng đến
- chống lại
- Đại lý
- đại lý
- nhanh nhẹn
- AI
- Mô hình AI
- Tất cả
- phân bổ
- cho phép
- Ngoài ra
- Mặc dù
- đàn bà gan dạ
- Amazon EC2
- Amazon Web Services
- an
- và
- Một
- bất kì
- api
- ứng dụng
- áp dụng
- Các Ứng Dụng
- các ứng dụng
- Đăng Nhập
- Nộp đơn
- phương pháp tiếp cận
- thích hợp
- kiến trúc
- LÀ
- KHU VỰC
- xung quanh
- AS
- khía cạnh
- các khía cạnh
- At
- sự chú ý
- tăng cường
- tự trị
- xe tự trị
- sẵn có
- có sẵn
- Trung bình cộng
- AWS
- lý lịch
- Bad
- cơ sở
- dựa
- BE
- bởi vì
- được
- BEST
- thực hành tốt nhất
- giữa
- lớn
- Dữ Liệu Lớn.
- lớn nhất
- nút cổ chai
- xây dựng
- người xây dựng
- Xây dựng
- xây dựng
- kinh doanh
- liên tục kinh doanh
- nhưng
- by
- cuộc gọi
- gọi
- Cuộc gọi
- CAN
- khả năng
- Sức chứa
- nắm bắt
- Chụp
- trường hợp
- trường hợp
- thách thức
- thay đổi
- Những thay đổi
- tính cách
- trò chuyện trên mạng
- lựa chọn
- City
- chặt chẽ
- thu thập
- Colorado
- so
- hoàn thành
- các thành phần
- Tính
- máy tính
- Tầm nhìn máy tính
- hội nghị
- Kết nối
- Hãy xem xét
- xem xét
- sự cân nhắc
- bối cảnh
- bối cảnh
- theo ngữ cảnh
- liên tiếp
- liên tục
- hợp đồng
- chuyển đổi
- có thể
- Couple
- che
- bao gồm
- CPU
- quan trọng
- CRM
- quan trọng
- khách hàng
- kinh nghiệm khach hang
- khách hàng
- dữ liệu
- quản lý dữ liệu
- Cơ sở dữ liệu
- cơ sở dữ liệu
- xác định
- Tùy
- mô tả
- Thiết kế
- thiết kế
- thiết kế
- chi tiết
- Phát triển
- DevOps
- ra lệnh
- khác nhau
- khó khăn
- trực tiếp
- thiên tai
- kỷ luật
- ngắt kết nối
- thảo luận
- khác nhau
- do
- tài liệu
- làm
- Không
- lĩnh vực
- dont
- mỗi
- hay
- nhúng
- mới nổi
- Kỹ Sư
- đảm bảo
- vào
- lôi
- Ether (ETH)
- đánh giá
- phát triển
- ví dụ
- quá
- Sự phấn khích
- hiện tại
- đắt tiền
- kinh nghiệm
- thử nghiệm
- khám phá
- thêm
- ngoài
- bên ngoài
- thêm
- Không
- Tính năng
- Tập tin
- Tìm kiếm
- Linh hoạt
- dòng chảy
- Tập trung
- tập trung
- theo
- tiếp theo
- Trong
- Chính thức
- Nền tảng
- Khung
- khung
- từ
- chức năng
- chức năng
- Tổng Quát
- mục đích chung
- tạo ra
- thế hệ
- thế hệ
- Trí tuệ nhân tạo
- nhận được
- GPU
- GPU
- hướng dẫn
- xử lý
- Xử lý
- Có
- có
- he
- Được tổ chức
- giúp đỡ
- giúp đỡ
- Cao
- cao
- tổ chức
- giữ
- chủ nhà
- Độ đáng tin của
- Hướng dẫn
- HTML
- http
- HTTPS
- if
- quan trọng
- nâng cao
- in
- bao gồm
- Bao gồm
- Incoming
- kết hợp
- chỉ
- thông tin
- đầu vào
- ví dụ
- trường hợp
- thay vì
- Tích hợp
- tương tác
- tương tác
- thú vị
- Giao thức
- can thiệp
- trong
- liên quan đến
- IT
- Những hành trình
- chỉ
- kiến thức
- Ngôn ngữ
- lớn
- Độ trễ
- Lãnh đạo
- LEARN
- học tập
- ống kính
- ít
- Cấp
- Lượt thích
- Hạn chế
- hạn chế
- giới hạn
- tôi
- tải
- tại địa phương
- đăng nhập
- logic
- Xem
- sự mất
- Rất nhiều
- máy
- học máy
- Chủ yếu
- làm cho
- quản lý
- quản lý
- nhiều
- diêm
- chất
- trưởng thành
- Có thể..
- MBA
- Gặp gỡ
- Bộ nhớ
- phương pháp
- Metrics
- Michigan
- microservices
- Tên đệm
- ML
- MLOps
- kiểu mẫu
- mô hình
- chế độ
- Màn Hình
- chi tiết
- nhiều
- nhiều
- phải
- tự nhiên
- nguyên bản
- cần thiết
- Cần
- cần thiết
- nhu cầu
- Mới
- Newyork
- thành phố new york
- Không
- bình thường
- không
- tại
- che
- nhiều
- được
- of
- thường
- on
- có thể
- mở
- mã nguồn mở
- Các lựa chọn
- or
- tổ chức
- tổ chức
- Nền tảng khác
- ra
- đầu ra
- kết thúc
- tổng thể
- riêng
- một phần
- Họa tiết
- mô hình
- Trả
- người
- thực hiện
- hiệu suất
- biểu diễn
- hình ảnh
- cột
- đường ống dẫn
- quan trọng
- kế hoạch
- lập kế hoạch
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- đóng
- bổ sung
- vị trí
- Bài đăng
- thực hành
- thực hành
- Chuẩn bị
- trình bày
- ngăn chặn
- Hiệu trưởng
- ưu tiên
- xử lý
- Sản phẩm
- quản lý sản phẩm
- dự án
- nhắc nhở
- cho
- công khai
- mục đích
- đặt
- câu hỏi
- giẻ lau
- RAM
- khác nhau,
- nhanh chóng
- Tỷ lệ
- hơn
- phục hồi
- xem
- tài liệu tham khảo
- Bất kể
- khu
- vùng
- liên quan
- có liên quan
- độ tin cậy
- đáng tin cậy
- nhân rộng
- Yêu cầu
- khả năng phục hồi
- đàn hồi
- tài nguyên
- Thông tin
- phản ứng
- hạn chế
- thu hồi
- rủi ro
- Vai trò
- chạy
- chạy
- chạy
- SaaS
- nhà làm hiền triết
- tương tự
- nói
- kịch bản
- Tìm kiếm
- tìm kiếm
- an ninh
- Rủi ro bảo mật
- cao cấp
- dịch vụ
- DỊCH VỤ
- một số
- sharding
- chị ấy
- sự chảy ..
- nên
- Đơn giản
- duy nhất
- Kích thước máy
- kỹ năng
- So
- Phần mềm
- phần mềm như là một dịch vụ
- phát triển phần mềm
- kỹ thuật phần mềm
- giải pháp
- Giải pháp
- một số
- nguồn
- nguồn
- Không gian
- Nói
- chuyên gia
- Tính ổn định
- ổn định
- ngăn xếp
- Stacks
- Tiểu bang
- Vẫn còn
- là gắn
- hàng
- chiến lược
- Chiến lược
- cấu trúc
- như vậy
- hỗ trợ
- chắc chắn
- hệ thống
- hệ thống
- Hãy
- mất
- phân loại
- công nghệ cao
- Kỹ thuật
- kỹ thuật
- Công nghệ
- hơn
- việc này
- Sản phẩm
- Nguồn
- cung cấp their dịch
- Them
- Đó
- Kia là
- họ
- nghĩ
- điều này
- những
- các mối đe dọa
- số ba
- Thông qua
- tầng
- thời gian
- đến
- công cụ
- công cụ
- Chủ đề
- theo dõi
- Theo dõi
- truyền thống
- Hội thảo
- thử
- hai
- kiểu
- loại
- điển hình
- thường
- sự hiểu biết
- Bất ngờ
- độc đáo
- trường đại học
- Đại học Michigan
- vô hạn
- không thể đoán trước
- sử dụng
- đã sử dụng
- người sử dang
- Kinh nghiệm người dùng
- Người sử dụng
- sử dụng
- HIỆU LỰC
- Quý báu
- nhiều
- Xe cộ
- Xem
- tầm nhìn
- muốn
- Đường..
- cách
- we
- web
- các dịch vụ web
- TỐT
- Điều gì
- khi nào
- liệu
- cái nào
- sẽ
- với
- Dành cho Nữ
- phụ nữ trong công nghệ
- Công việc
- làm việc
- đang làm việc
- viết
- york
- bạn
- trên màn hình
- zephyrnet