Mạng nơ-ron mở: giao điểm của AI và web3

của Rishin Sharma & Jake Brukhman.

Đặc biệt cảm ơn tất cả những người đã phản hồi về tác phẩm này, bao gồm Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman.

Nguồn: Hình ảnh do AI tạo từ Lexica.art, một công cụ tìm kiếm khuếch tán ổn định

Sự đổi mới công nghệ không bao giờ ngừng nghỉ và điều này đặc biệt đúng với trí tuệ nhân tạo. Trong vài năm qua, chúng ta đã thấy sự phổ biến của các mô hình học sâu tái xuất hiện như những tiền thân của AI. Còn được gọi là mạng thần kinh, các mô hình này bao gồm các lớp nút liên kết với nhau dày đặc truyền thông tin qua nhau, gần giống với cấu tạo của bộ não con người. Vào đầu những năm 2010, các mô hình tiên tiến nhất có hàng triệu tham số, các mô hình được giám sát chặt chẽ được sử dụng để phân tích và phân loại cảm tính cụ thể. Các dòng máy cao cấp nhất hiện nay như xưởng vẽ trong mơ, GPT-3, DALL-E2và Ảnh đang đạt đến một nghìn tỷ tham số và đang hoàn thành các nhiệm vụ phức tạp và thậm chí sáng tạo, sánh ngang với công việc của con người. Lấy ví dụ, hình ảnh tiêu đề hoặc tóm tắt của bài đăng blog này. Cả hai đều được sản xuất bởi trí thông minh nhân tạo. Chúng ta chỉ mới bắt đầu thấy những tác động xã hội và văn hóa của những mô hình này khi chúng định hình cách chúng ta học hỏi những điều mới, tương tác với nhau và thể hiện bản thân một cách sáng tạo.

Tuy nhiên, phần lớn bí quyết kỹ thuật, tập dữ liệu quan trọng và khả năng tính toán để đào tạo các mạng nơ-ron lớn ngày nay là nguồn đóng và được kiểm soát bởi các công ty “Big Tech” như Google và Meta. Trong khi bản sao các mô hình mã nguồn mở như GPT-NeoX, DALLE-megavà HOA đã được dẫn đầu bởi các tổ chức bao gồm Ổn địnhAI, Eleuther AIvà ÔmKhuôn Mặt, web3 đã sẵn sàng để tăng tốc AI nguồn mở nhiều hơn nữa.

“Một lớp cơ sở hạ tầng web3 cho AI có thể giới thiệu các yếu tố của phát triển mã nguồn mở, quyền sở hữu và quản trị cộng đồng cũng như quyền truy cập toàn cầu tạo ra các mô hình mới và hiệu quả trong việc phát triển các công nghệ mới này."

Hơn nữa, nhiều trường hợp sử dụng quan trọng cho web3 sẽ được tăng cường nhờ việc áp dụng các công nghệ AI. Từ NFT nghệ thuật tổng hợp đến cảnh quan siêu đối thủ, AI sẽ tìm thấy nhiều trường hợp sử dụng trong web3. AI nguồn mở phù hợp với đặc tính mở, phi tập trung và dân chủ hóa của web3 và đại diện cho một giải pháp thay thế cho AI do Big Tech cung cấp, vốn không có khả năng sớm trở thành công khai.

Mô hình nền tảng là các mạng nơ-ron được đào tạo trên các bộ dữ liệu mở rộng để thực hiện các tác vụ thường yêu cầu hành vi thông minh của con người. Những mô hình này đã tạo ra một số kết quả ấn tượng.

Các mô hình ngôn ngữ như OpenAI's GPT-3, LaMDA của Googlevà Nvidia's Megatron-Turing NLG có khả năng hiểu và tạo ra ngôn ngữ tự nhiên, tóm tắt và tổng hợp văn bản, và thậm chí viết mã máy tính.

DALLE-2 là của OpenAI mô hình khuếch tán văn bản sang hình ảnh có thể tạo ra hình ảnh độc đáo từ văn bản viết. Bộ phận AI của Google DeepMind đã sản xuất các mô hình cạnh tranh bao gồm PaLM, mô hình ngôn ngữ tham số 540B và Imagen, mô hình tạo hình ảnh của riêng nó vượt trội hơn DALLE-2 trên DrawBench và COCO FID Benchmarks. Imagen đáng chú ý là tạo ra nhiều kết quả thực tế hơn và có khả năng đánh vần.

Các mô hình học tập củng cố như của Google AlphaGo đã đánh bại nhà vô địch thế giới cờ vây của con người đồng thời khám phá các chiến lược và kỹ thuật chơi mới lạ chưa từng có trong lịch sử ba nghìn năm của trò chơi.

Cuộc đua xây dựng các mô hình nền tảng phức tạp đã bắt đầu với Big Tech đi đầu trong lĩnh vực đổi mới. Khi sự phát triển của lĩnh vực này trở nên thú vị, có một chủ đề chính đáng quan tâm.

Trong thập kỷ qua, khi các mô hình AI ngày càng trở nên tinh vi hơn, chúng cũng ngày càng trở nên khép kín đối với công chúng.

Các gã khổng lồ công nghệ đang đầu tư mạnh mẽ vào việc sản xuất các mô hình như vậy và giữ lại dữ liệu và mã làm công nghệ độc quyền trong khi duy trì lợi thế cạnh tranh của họ thông qua lợi thế quy mô kinh tế để đào tạo và tính toán mô hình.

Đối với bất kỳ bên thứ ba nào, việc sản xuất các mô hình nền tảng là một quá trình tiêu tốn nhiều tài nguyên với ba điểm nghẽn chính: dữ liệu, máy tính, và Kiếm tiền.

Đây là nơi chúng tôi thấy sự xâm nhập sớm của các chủ đề web3 trong việc giải quyết một số vấn đề này.

Các bộ dữ liệu được gắn nhãn là rất quan trọng để xây dựng các mô hình hiệu quả. Hệ thống AI học bằng cách tổng quát hóa từ các ví dụ trong bộ dữ liệu và liên tục cải tiến khi chúng được đào tạo theo thời gian. Tuy nhiên, việc biên dịch và ghi nhãn tập dữ liệu chất lượng đòi hỏi kiến ​​thức và xử lý chuyên biệt bên cạnh các nguồn tài nguyên tính toán. Các công ty công nghệ lớn thường sẽ có các nhóm dữ liệu nội bộ chuyên làm việc với các bộ dữ liệu lớn, độc quyền và Hệ thống IP để đào tạo các mô hình của họ và có ít động lực để mở quyền truy cập vào sản xuất hoặc phân phối dữ liệu của họ.

Đã có những cộng đồng đang làm cho việc đào tạo mô hình trở nên cởi mở và có thể tiếp cận được với cộng đồng các nhà nghiên cứu toàn cầu. Dưới đây là một số ví dụ:

1. Thu thập thông tin chung, một kho lưu trữ dữ liệu internet mười năm công cộng, có thể được sử dụng cho việc đào tạo chung. (Tuy nhiên nghiên cứu cho thấy rằng các bộ dữ liệu chuẩn, chính xác hơn có thể cải thiện kiến ​​thức chung về miền chéo và khả năng tổng quát hóa hạ nguồn của các mô hình.)
2. LAION là một tổ chức phi lợi nhuận nhằm mục đích cung cấp các mô hình học máy và bộ dữ liệu quy mô lớn cho công chúng và phát hành LAION5B, tập dữ liệu cặp văn bản hình ảnh được lọc 5.85 tỷ CLIP mà khi phát hành đã trở thành tập dữ liệu văn bản hình ảnh có thể truy cập mở lớn nhất trên thế giới.
3. Eleuther AI là một tập thể phi tập trung đã phát hành một trong những bộ dữ liệu văn bản nguồn mở lớn nhất được gọi là Đống. Pile là bộ dữ liệu tiếng Anh 825.18 GiB để lập mô hình ngôn ngữ sử dụng 22 nguồn dữ liệu khác nhau.

Hiện tại, các cộng đồng này được tổ chức không chính thức và dựa vào sự đóng góp từ một cơ sở tình nguyện viên rộng khắp. Để tăng cường nỗ lực của họ, phần thưởng mã thông báo có thể được sử dụng như một cơ chế để tạo bộ dữ liệu mã nguồn mở. Mã thông báo có thể được phát hành dựa trên các đóng góp, chẳng hạn như gắn nhãn cho một tập dữ liệu hình ảnh văn bản lớn và cộng đồng DAO có thể xác thực các tuyên bố đó. Cuối cùng, các mô hình lớn có thể phát hành mã thông báo từ một nhóm chung và doanh thu hạ nguồn từ các sản phẩm được xây dựng trên các mô hình đã nói có thể tích lũy thành giá trị mã thông báo. Bằng cách này, những người đóng góp tập dữ liệu có thể nắm giữ cổ phần trong các mô hình lớn thông qua mã thông báo của họ và các nhà nghiên cứu sẽ có thể kiếm tiền từ các tài nguyên xây dựng một cách công khai.

Việc biên soạn các bộ dữ liệu nguồn mở được xây dựng tốt là rất quan trọng để mở rộng khả năng tiếp cận nghiên cứu cho các mô hình lớn và cải thiện hiệu suất mô hình. Tập dữ liệu hình ảnh văn bản có thể được mở rộng bằng cách tăng kích thước và bộ lọc cho các loại hình ảnh khác nhau để có kết quả tinh chỉnh hơn. Các bộ dữ liệu không phải tiếng Anh sẽ cần thiết để đào tạo các mô hình ngôn ngữ tự nhiên mà những người không nói tiếng Anh có thể sử dụng. Theo thời gian, chúng tôi có thể đạt được những kết quả này nhanh hơn và cởi mở hơn nhiều bằng cách sử dụng cách tiếp cận web3.

Máy tính cần thiết để đào tạo mạng nơ-ron quy mô lớn là một trong những nút thắt cổ chai lớn nhất trong các mô hình nền tảng. Trong thập kỷ qua, nhu cầu về máy tính trong việc đào tạo các mô hình AI đã tăng gấp đôi cứ sau 3.4 tháng. Trong giai đoạn này, các mô hình AI đã chuyển từ nhận dạng hình ảnh sang sử dụng các thuật toán học tăng cường để đánh bại các nhà vô địch của con người trong các trò chơi chiến lược và sử dụng máy biến áp để đào tạo các mô hình ngôn ngữ. Ví dụ, GPT-3 của OpenAI có 175 tỷ tham số và mất 3,640 petaFLOPS-ngày để đào tạo. Quá trình này sẽ mất hai tuần trên siêu máy tính nhanh nhất thế giới và hơn một thiên niên kỷ để một máy tính xách tay tiêu chuẩn có thể tính toán. Khi kích thước mô hình tiếp tục phát triển, máy tính vẫn là một nút thắt cổ chai trong sự phát triển của lĩnh vực này.

Siêu máy tính AI yêu cầu phần cứng cụ thể được tối ưu hóa để thực hiện các phép toán cần thiết để đào tạo mạng nơ-ron, chẳng hạn như Đơn vị xử lý đồ họa (GPU) hoặc Mạch tích hợp dành riêng cho ứng dụng (ASIC). Ngày nay, hầu hết phần cứng được tối ưu hóa cho kiểu tính toán này được kiểm soát bởi một số nhà cung cấp dịch vụ đám mây độc quyền như Google Cloud, Amazon Web Services, Microsoft Azure và IBM Cloud.

Đây là nút giao thông quan trọng tiếp theo, nơi chúng ta thấy việc phân bổ máy tính phi tập trung thông qua các mạng công cộng, mở đang thu hút được sức hút. Quản trị phi tập trung có thể được sử dụng để tài trợ và phân bổ nguồn lực để đào tạo các dự án do cộng đồng định hướng. Hơn nữa, mô hình thị trường phi tập trung có thể được truy cập công khai trên các khu vực địa lý để bất kỳ nhà nghiên cứu nào cũng có thể truy cập tài nguyên máy tính. Hãy tưởng tượng một hệ thống tiền thưởng huy động vốn từ cộng đồng đào tạo mô hình bằng cách phát hành mã thông báo. Huy động vốn cộng đồng thành công sẽ nhận được tính toán ưu tiên cho mô hình của họ và thúc đẩy các đổi mới ở những nơi có nhu cầu cao. Ví dụ: nếu có nhu cầu đáng kể từ DAO để sản xuất mô hình GPT tiếng Tây Ban Nha hoặc tiếng Hindi để phục vụ nhóm dân số lớn hơn, thì có thể tập trung nghiên cứu vào miền đó.

Đã có, các công ty như GenSyn đang làm việc để khởi chạy các giao thức để khuyến khích và điều phối quyền truy cập phần cứng thay thế, tiết kiệm chi phí và dựa trên đám mây để tính toán học sâu. Theo thời gian, mạng máy tính toàn cầu được chia sẻ, phi tập trung được xây dựng với cơ sở hạ tầng web3 sẽ trở nên hiệu quả hơn về quy mô và phục vụ chúng ta tốt hơn khi chúng ta cùng khám phá biên giới của trí tuệ nhân tạo.

Các tập dữ liệu và máy tính sẽ cho phép luận điểm này: các mô hình AI mã nguồn mở. Trong vài năm qua, các mô hình lớn ngày càng trở nên tư nhân do việc đầu tư nguồn lực cần thiết để sản xuất chúng đã đẩy các dự án trở thành nguồn đóng.

Tham gia OpenAI. OpenAI được thành lập vào năm 2015 là một phòng thí nghiệm nghiên cứu phi lợi nhuận với sứ mệnh sản xuất trí tuệ nhân tạo chung vì lợi ích của toàn nhân loại, trái ngược hoàn toàn với các công ty hàng đầu trong lĩnh vực AI vào thời điểm đó là Google và Facebook. Theo thời gian, sự cạnh tranh khốc liệt và áp lực về nguồn vốn đã làm xói mòn lý tưởng về tính minh bạch và mã nguồn mở khi OpenAI chuyển sang mô hình vì lợi nhuận và đã ký một lượng lớn Thỏa thuận thương mại trị giá 1 tỷ USD với Microsoft. Hơn nữa, tranh cãi gần đây đã xoay quanh mô hình chuyển văn bản thành hình ảnh của họ, DALLE-2, để kiểm duyệt tổng quát của nó. (Ví dụ: DALLE-2 đã cấm các thuật ngữ 'súng,' hành quyết, 'tấn công', 'Ukraine' và hình ảnh của những người nổi tiếng; sự kiểm duyệt thô bạo như vậy ngăn chặn những lời nhắc như 'Lebron James tấn công giỏ hàng' hoặc 'một lập trình viên thực hiện một dòng mã '.) Quyền truy cập vào bản beta riêng tư cho các mô hình này có khuynh hướng địa lý ngầm đối với người dùng phương Tây để ngăn chặn một lượng lớn dân số toàn cầu tương tác và cung cấp thông tin cho các mô hình này.

Đây không phải là cách trí tuệ nhân tạo nên được phổ biến: được bảo vệ, kiểm soát và bảo quản bởi một số công ty công nghệ lớn. Như trong trường hợp với blockchain, công nghệ mới nên được áp dụng một cách công bằng nhất có thể để lợi ích của nó không tập trung vào một số ít có quyền truy cập. Tiến bộ tổng hợp trong trí tuệ nhân tạo nên được tận dụng một cách công khai trên các ngành, khu vực địa lý và cộng đồng khác nhau để cùng nhau khám phá các trường hợp sử dụng hấp dẫn nhất và đạt được sự đồng thuận về việc sử dụng hợp lý AI. Giữ cho các mô hình nền tảng là mã nguồn mở có thể đảm bảo rằng việc kiểm duyệt được ngăn chặn và sự thiên vị được giám sát cẩn thận dưới cái nhìn của công chúng.

Với cấu trúc mã thông báo cho các mô hình nền tảng tổng quát, sẽ có thể tập hợp một nhóm lớn hơn những người đóng góp có thể kiếm tiền từ công việc của họ trong khi phát hành mã nguồn mở. Các dự án như OpenAI được xây dựng dựa trên luận điểm mã nguồn mở đã phải xoay trục sang một công ty độc lập được tài trợ để cạnh tranh về nhân tài và nguồn lực. Web3 cho phép các dự án nguồn mở sinh lợi về mặt tài chính và cạnh tranh hơn nữa với các dự án được dẫn đầu bởi các khoản đầu tư tư nhân của Big Tech. Hơn nữa, các nhà đổi mới xây dựng sản phẩm dựa trên các mô hình mã nguồn mở có thể tự tin rằng có sự minh bạch trong AI cơ bản. Hiệu quả cuối cùng của điều này sẽ là việc áp dụng nhanh chóng và đưa ra thị trường cho các trường hợp sử dụng trí tuệ nhân tạo mới. Trong không gian web3, điều này bao gồm ứng dụng bảo mật tiến hành phân tích dự đoán về các lỗ hổng trong hợp đồng thông minh và sự cố kéo thảm, trình tạo hình ảnh có thể được sử dụng để đúc NFT và tạo cảnh quan metaverse, nhân cách kỹ thuật số AI có thể tồn tại trên chuỗi để duy trì quyền sở hữu cá nhân và hơn thế nữa.

Trí tuệ nhân tạo là một trong những công nghệ tiến bộ nhanh nhất hiện nay sẽ có những tác động to lớn đối với toàn xã hội của chúng ta. Ngày nay, lĩnh vực này bị chi phối bởi công nghệ lớn vì các khoản đầu tư tài chính vào tài năng, dữ liệu và máy tính tạo ra những động lực đáng kể để phát triển mã nguồn mở. Tích hợp web3 vào lớp cơ sở hạ tầng của AI là một bước quan trọng cần thực hiện để đảm bảo rằng các hệ thống trí tuệ nhân tạo được xây dựng theo cách công bằng, mở và dễ truy cập. Chúng tôi đã thấy các mô hình mở có vị trí đổi mới nhanh chóng, công khai trong các không gian mở như Twitter và HuggingFace và tiền điện tử có thể thúc đẩy những nỗ lực này trong tương lai.

Dưới đây là những gì nhóm CoinFund đang tìm kiếm về sự giao thoa giữa AI và tiền điện tử:

1. Các nhóm có trí tuệ nhân tạo mở làm cốt lõi cho sứ mệnh của họ
2. Các cộng đồng đang quản lý các tài nguyên công cộng như dữ liệu và máy tính để giúp xây dựng các mô hình AI
3. Các sản phẩm đang sử dụng AI để mang lại sự sáng tạo, bảo mật và đổi mới cho việc áp dụng chính thống

Nếu bạn đang xây dựng một dự án về giao điểm của AI và web3, hãy trò chuyện với chúng tôi bằng cách liên hệ với CoinFund trên Twitter hoặc email rishin@coinfund.io or jake@coinfund.io.