Bạn chỉ cần bút và giấy để đánh lừa mã thị giác máy tính OpenAI này. Chỉ cần viết ra những gì bạn muốn nó nhìn thấy

Các nhà nghiên cứu OpenAI tin rằng họ đã phát hiện ra một cách dễ dàng đến kinh ngạc để đánh lừa phần mềm nhận dạng đối tượng của họ và nó chỉ cần bút và giấy để thực hiện.

Cụ thể, mô hình thị giác máy tính mới nhất của phòng thí nghiệm, CLIP, có thể bị đánh lừa bởi thứ được mô tả là “tấn công đánh máy”. Chỉ cần viết các từ 'iPod' hoặc 'pizza' lên một tờ giấy nhỏ, dán nó lên một quả táo và phần mềm sẽ phân loại nhầm miếng trái cây đó thành máy nghe nhạc Cupertino hoặc một món ăn ngon.

Không phải là công cụ thông minh nhất trong hộp. Nguồn: OpenAI. Nhấp để phóng to

“Chúng tôi tin rằng các cuộc tấn công như những cuộc tấn công được mô tả ở trên không chỉ đơn giản là một mối lo ngại về mặt học thuật,” những người đứng sau CLIP nói tuần này. “Bằng cách khai thác mạnh mẽ khả năng đọc văn bản của mô hình, chúng tôi thấy rằng ngay cả những bức ảnh chụp văn bản viết tay cũng có thể đánh lừa mô hình.” Họ nói thêm rằng “cuộc tấn công này hoạt động tự nhiên” và “nó không yêu cầu nhiều công nghệ hơn bút và giấy”.

CLIP không phải là phần mềm thông minh nhân tạo duy nhất mắc phải những trò tai quái đơn giản như vậy. Nó đã được chứng minh rằng bạn có thể sử dụng băng dính để đánh lừa Autopilot của Tesla đọc nhầm biển báo tốc độ 35 dặm/giờ thành biển báo tốc độ 85 dặm/giờ. Tuy nhiên, các hình thức khác của cái gọi là tấn công đối nghịch này đòi hỏi một số bí quyết kỹ thuật để thực hiện: nó thường liên quan đến việc thêm nhiễu vào ảnh hoặc tạo một keo các pixel được sắp xếp cẩn thận để tạo ra lỗi hệ thống nhận dạng đối tượng, chẳng hạn như một quả chuối cho một máy nướng bánh mì. Tuy nhiên, trong trường hợp của CLIP, điều đó không cần thiết.

Chỉ cần nói rằng, mô hình của OpenAI đã được đào tạo bằng cách sử dụng hình ảnh của văn bản cũng như hình ảnh của các đối tượng và những thứ khác được lấy từ internet.

Bạn có nghĩ rằng đồng hồ thông minh của bạn tốt để cảnh báo cơn đau tim? Hóa ra đánh lừa AI của nó dễ dàng một cách đáng ngạc nhiên

ĐỌC THÊM

Cách tiếp cận này đã được thực hiện để CLIP vẫn duy trì mục đích khá chung chung và có thể được tinh chỉnh khi cần cho một khối lượng công việc cụ thể mà không cần phải đào tạo lại. Đưa ra một hình ảnh, nó không chỉ có thể dự đoán đúng tập hợp các nhãn văn bản mô tả cảnh, mà còn có thể được sử dụng lại để tìm kiếm thông qua cơ sở dữ liệu lớn về hình ảnh và cung cấp chú thích.

OpenAI cho biết CLIP có thể học các khái niệm trừu tượng qua các cách thể hiện khác nhau. Ví dụ: mô hình có thể nhận ra Người Nhện khi siêu anh hùng được mô tả trong ảnh, bản phác thảo hoặc mô tả trong văn bản. Điều thú vị hơn nữa là các nhà nghiên cứu đã có thể tìm thấy các nhóm tế bào thần kinh trong mạng lưới thần kinh được kích hoạt khi phần mềm ghi lại một cái nhìn thoáng qua về Người Nhện.

Họ đã mô tả những điều này như là tế bào thần kinh đa phương thức. “Ví dụ, một nơ-ron như vậy là nơ-ron 'Người nhện' phản ứng với hình ảnh con nhện, hình ảnh của văn bản 'con nhện' và nhân vật truyện tranh 'Người nhện' trong trang phục hoặc minh họa, ” nhóm OpenAI cho biết. CLIP có tất cả các loại tế bào thần kinh đa phương thức đại diện cho các khái niệm khác nhau, chẳng hạn như mùa, quốc gia, cảm xúc và đối tượng.

Nhưng điểm mạnh nhất của mô hình - tính linh hoạt và mạnh mẽ - cũng là điểm yếu lớn nhất của nó. Họ nhận thấy CLIP dễ dàng bị đánh lừa bởi các cuộc tấn công đánh máy.

Quay trở lại ví dụ về quả táo và bánh pizza, các tế bào thần kinh đa phương thức đã học cách biểu thị quả táo cũng không kích hoạt khi chúng nhìn thấy từ 'pizza' được viết. Thay vào đó, các tế bào thần kinh liên quan đến bánh pizza được kích hoạt. Mô hình dễ bị nhầm lẫn.

Có bằng chứng cho thấy việc học trừu tượng sử dụng tế bào thần kinh đa phương thức cũng xảy ra trong não người. Nhưng thật không may, đây là nơi máy móc hiện đại trở nên nhạt nhòa so với các đối tác sinh học của chúng. Con người rõ ràng có thể nói rằng một quả táo có ghi chú viết tay ghi pizza trên đó vẫn là một quả táo, trong khi các mô hình AI thì chưa.

OpenAI cho biết CLIP không hoạt động tốt như một số mô hình thị giác máy tính ngày nay được sử dụng trong sản xuất. Nó cũng mắc phải những thành kiến ​​xúc phạm, các tế bào thần kinh của nó liên tưởng khái niệm 'Trung Đông' với 'khủng bố' và người da đen với khỉ đột. Hiện tại, mô hình này chỉ được sử dụng cho mục đích nghiên cứu và OpenAI vẫn đang quyết định có phát hành mã hay không.

“Hiểu biết của riêng chúng tôi về CLIP vẫn đang phát triển và chúng tôi vẫn đang xác định liệu chúng tôi có phát hành các phiên bản lớn của CLIP hay không và bằng cách nào. Chúng tôi hy vọng rằng việc cộng đồng khám phá thêm các phiên bản đã phát hành cũng như các công cụ mà chúng tôi công bố hôm nay sẽ giúp nâng cao hiểu biết chung về các hệ thống đa phương thức, cũng như cung cấp thông tin cho quá trình ra quyết định của chính chúng tôi,” nó nói.

OpenAI từ chối bình luận thêm về CLIP. ®

Nguồn: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/