BitTorrent cho các mô hình ngôn ngữ

BitTorrent cho các mô hình ngôn ngữ

Dấu thời gian: Ngày 21 tháng 2023 năm 10 00:XNUMX CH
Nút nguồn: 2023910

Trong những ngày cũ của Internet, FTP là đủ để tải xuống tệp không thường xuyên. Nhưng với việc sử dụng rộng rãi âm thanh và video máy tính, thật dễ dàng để tràn ngập một máy chủ FTP, vì vậy - cuối cùng - BitTorrent đã ra đời. Ý tưởng là bạn sẽ tải xuống các bit và phần của một tệp từ những nơi khác nhau và theo lý thuyết, mọi người sẽ tải xuống các bit và phần mà bạn có nếu họ cần chúng. Hiện nay Cánh hoa muốn sử dụng cùng phương pháp này với các mô hình ngôn ngữ. Các mô hình ngôn ngữ AI này đều đang thịnh hành, nhưng chúng chiếm nhiều tài nguyên máy tính. Ý tưởng đằng sau Petals giống như BitTorrent. Bạn xử lý một phần nhỏ của mô hình (khoảng 8 gigabyte, nhỏ so với 352 gigabyte cần thiết) và những người khác có các phần khác.

Tất nhiên, nếu bạn quan tâm đến quyền riêng tư, điều đó có nghĩa là một số lượng dữ liệu của bạn sẽ được công khai, nhưng đối với các thử nghiệm chatbot mới nhất của bạn, đó có thể không phải là vấn đề lớn. Bạn có thể cài đặt Cánh hoa trong môi trường Anaconda hoặc chạy hình ảnh Docker nếu bạn không muốn thiết lập bất cứ thứ gì. Nếu bạn chỉ muốn truy cập chatbot của mạng phân tán dựa trên BLOOMZ-176B, bạn có thể làm điều đó trực tuyến.

Vì mạng xử lý mã thông báo nên trò chuyện với thiết bị hơi giật, với khoảng dừng đáng chú ý giữa các từ. Nó nói rằng bạn có thể tăng tốc độ bằng cách kết nối GPU của mình. Đây là một bảng điểm:

Hackaday: Có bao nhiêu nút lưu trữ bạn? AI: Hai nghìn sáu trăm chín mươi ba Hackaday: Bạn có biết về hackaday.com không? Ai: Vâng, tất nhiên. Hackaday: Nó là gì? AI: Đó là một trang web dành cho tin tặc và chuyên viên máy tính. Hackaday: Bạn sẽ viết một chương trình Arduino để nhấp nháy đèn LED như thế nào? AI: Bạn phải sử dụng ngôn ngữ Arduino và tạo một bản phác thảo có thể tải lên bảng Arduino. Hackaday: Bạn có thể viết chương trình đó không? Trí tuệ nhân tạo: Không

Vì vậy, chúng tôi cho rằng công việc của chúng tôi là an toàn cho bây giờ. Tuy nhiên, nếu bạn muốn thử nghiệm các mô hình tùy chỉnh của riêng mình dựa trên BLOOM hoặc BLOOMZ, đây là một cách nhanh chóng để bắt đầu mà không cần cụm máy chủ. Các sổ tay hướng dẫn sẽ giúp bạn bắt đầu. Nếu bạn muốn đào sâu, có một báo cáo chính thức.

Chúng tôi đã lo lắng về mô hình an ninh, vì vậy việc phân phối nó sẽ khiến một số cuộc tấn công dễ dàng hơn và một số cuộc tấn công khó hơn, chúng tôi tưởng tượng. Chúng tôi không biết nếu chúng tôi tin tưởng bất kỳ ai trong số họ chạy lưỡi cưa tròn xung quanh sân của chúng tôi, mặc dù.

Dấu thời gian:

Thêm từ Hack một ngày