Một số kỹ thuật kỹ thuật nhanh chóng để thúc đẩy các mô hình LLM của chúng tôi - KDnuggets

Được xuất bản lại bởi Plato

Người theo dõi: 0

Một số kỹ thuật kỹ thuật nhanh chóng để thúc đẩy các mô hình LLM của chúng tôi
Hình ảnh được tạo bằng DALL-E3

Trí tuệ nhân tạo đã là một cuộc cách mạng hoàn chỉnh trong thế giới công nghệ.

Khả năng bắt chước trí thông minh của con người và thực hiện các nhiệm vụ từng được coi là lĩnh vực duy nhất của con người vẫn khiến hầu hết chúng ta kinh ngạc.

Tuy nhiên, cho dù những bước nhảy vọt về AI muộn này có tốt đến đâu thì vẫn luôn có chỗ để cải thiện.

Và đây chính xác là lúc kỹ thuật nhanh chóng phát huy tác dụng!

Nhập trường này có thể nâng cao đáng kể năng suất của các mô hình AI.

Hãy cùng nhau khám phá tất cả nhé!

Kỹ thuật nhắc nhở là một lĩnh vực đang phát triển nhanh chóng trong AI, tập trung vào việc cải thiện hiệu suất và hiệu quả của các mô hình ngôn ngữ. Tất cả chỉ nhằm tạo ra những lời nhắc hoàn hảo để hướng dẫn các mô hình AI tạo ra kết quả đầu ra mong muốn của chúng ta.

Hãy coi nó như việc học cách đưa ra những hướng dẫn tốt hơn cho ai đó để đảm bảo họ hiểu và thực hiện một nhiệm vụ một cách chính xác.

Tại sao lại có vấn đề về kỹ thuật nhanh chóng

Nâng cao năng suất: Bằng cách sử dụng lời nhắc chất lượng cao, mô hình AI có thể tạo ra phản hồi chính xác và phù hợp hơn. Điều này có nghĩa là tốn ít thời gian hơn cho việc sửa lỗi và có nhiều thời gian hơn để tận dụng các khả năng của AI.
Hiệu quả chi phí: Đào tạo các mô hình AI tốn nhiều tài nguyên. Kỹ thuật nhanh chóng có thể giảm nhu cầu đào tạo lại bằng cách tối ưu hóa hiệu suất của mô hình thông qua các lời nhắc tốt hơn.
Tính linh hoạt: Lời nhắc được thiết kế tốt có thể làm cho các mô hình AI trở nên linh hoạt hơn, cho phép chúng giải quyết nhiều nhiệm vụ và thách thức hơn.

Trước khi đi sâu vào các kỹ thuật tiên tiến nhất, chúng ta hãy nhớ lại hai kỹ thuật kỹ thuật nhanh chóng (và cơ bản) hữu ích nhất.

Tư duy tuần tự với “Hãy suy nghĩ từng bước”

Ngày nay, người ta biết rằng độ chính xác của mô hình LLM được cải thiện đáng kể khi thêm chuỗi từ “Hãy suy nghĩ từng bước một”.

Tại sao… bạn có thể hỏi?

Vâng, điều này là do chúng tôi buộc mô hình phải chia nhỏ bất kỳ nhiệm vụ nào thành nhiều bước, do đó đảm bảo mô hình có đủ thời gian để xử lý từng bước.

Ví dụ: tôi có thể thách thức GPT3.5 bằng lời nhắc sau:

Nếu John có 5 quả lê, sau đó ăn 2 quả, mua thêm 5 quả rồi đưa cho bạn mình 3 quả, hỏi anh ấy có bao nhiêu quả lê?

Người mẫu sẽ cho tôi câu trả lời ngay. Tuy nhiên, nếu tôi thêm câu cuối cùng “Hãy suy nghĩ từng bước một”, tôi buộc mô hình phải tạo ra một quy trình tư duy gồm nhiều bước.

Nhắc vài lần

Mặc dù lời nhắc Zero-shot đề cập đến việc yêu cầu mô hình thực hiện một nhiệm vụ mà không cung cấp bất kỳ bối cảnh hoặc kiến thức nào trước đó, nhưng kỹ thuật nhắc vài lần bắn ngụ ý rằng chúng tôi trình bày LLM với một vài ví dụ về đầu ra mong muốn của chúng tôi cùng với một số câu hỏi cụ thể.

Ví dụ: nếu chúng ta muốn đưa ra một mô hình định nghĩa bất kỳ thuật ngữ nào bằng giọng điệu thơ mộng thì điều đó có thể khá khó giải thích. Phải?

Tuy nhiên, chúng ta có thể sử dụng một số gợi ý sau đây để điều khiển mô hình theo hướng chúng ta muốn.

Nhiệm vụ của bạn là trả lời theo một phong cách nhất quán, phù hợp với phong cách sau.

: Hãy dạy tôi về khả năng phục hồi.

: Sự kiên cường giống như cái cây uốn cong theo gió nhưng không bao giờ gãy.

Đó là khả năng thoát khỏi nghịch cảnh và tiếp tục tiến về phía trước.

: Đầu vào của bạn ở đây.

Nếu bạn chưa thử, bạn có thể thử thách GPT.

Tuy nhiên, vì tôi khá chắc rằng hầu hết các bạn đều đã biết những kỹ thuật cơ bản này nên tôi sẽ thử thách bạn bằng một số kỹ thuật nâng cao.

1. Nhắc nhở chuỗi suy nghĩ (CoT)

Được giới thiệu bởi Google năm 2022, phương pháp này liên quan đến việc hướng dẫn mô hình trải qua một số giai đoạn suy luận trước khi đưa ra phản hồi cuối cùng.

Nghe có vẻ quen thuộc phải không? Nếu vậy thì bạn hoàn toàn đúng.

Nó giống như việc kết hợp cả Tư duy tuần tự và Nhắc nhở nhanh chóng.

Làm thế nào?

Về cơ bản, lời nhắc CoT hướng dẫn LLM xử lý thông tin một cách tuần tự. Điều này có nghĩa là chúng tôi minh họa cách giải quyết vấn đề đầu tiên bằng cách suy luận nhiều bước, sau đó gửi nhiệm vụ thực sự của chúng tôi đến mô hình, mong đợi nó mô phỏng một chuỗi suy nghĩ có thể so sánh được khi trả lời truy vấn thực tế mà chúng tôi muốn nó giải quyết.

Một số kỹ thuật kỹ thuật nhanh chóng để thúc đẩy các mô hình LLM của chúng tôi
Hình ảnh được chụp từ giấy.

Vì vậy, theo ví dụ đầu tiên, chúng ta có thể đưa ra gợi ý về vấn đề đầu tiên và giải thích tuần tự về cách giải quyết vấn đề đó. Sau đó, chúng ta có thể gửi thông tin đầu vào của mình và xem điều kỳ diệu xảy ra như thế nào!

Nếu John có 5 quả lê, sau đó ăn 2 quả, mua thêm 5 quả rồi đưa cho bạn mình 3 quả, hỏi anh ấy có bao nhiêu quả lê? Hãy suy nghĩ từng bước một.

Hãy đi từng bước một. John bắt đầu với 5 quả lê. Anh ta ăn 2 quả lê nên còn lại 5–2 = 3 quả lê. Sau đó, anh ta mua thêm 5 quả lê. Vậy bây giờ anh ấy có 3 + 5 = 8 quả lê. Cuối cùng, anh ấy đưa 3 quả lê cho bạn mình. Do đó, anh ta còn lại 8–3 = 5 quả lê. Vậy sau tất cả các bước này, John có 5 quả lê.

Đầu vào của bạn ở đây.

Tuy nhiên, hầu hết các bạn chắc hẳn đang nghĩ… Tôi có phải nghĩ ra cách tuần tự để giải quyết bất kỳ vấn đề nào bất cứ khi nào tôi muốn hỏi điều gì đó trên ChatGPT không?

Chà… bạn không phải là người đầu tiên! Và điều này dẫn chúng ta đến…

2. Chuỗi suy nghĩ tự động (Auto-CoT)

Trong 2022, Zhang và các đồng nghiệp đã giới thiệu một phương pháp để tránh quá trình thủ công này. Có hai lý do chính để tránh bất kỳ tác vụ thủ công nào:

Nó có thể nhàm chán.
Nó có thể mang lại kết quả xấu – chẳng hạn như khi quá trình tinh thần của chúng ta gặp trục trặc.

Họ đề xuất sử dụng LLM kết hợp với lời nhắc “Hãy suy nghĩ từng bước” để tạo ra chuỗi lý luận một cách tuần tự cho mỗi lần trình diễn.

Điều này có nghĩa là hỏi ChatGPT cách giải quyết mọi vấn đề một cách tuần tự và sau đó sử dụng chính ví dụ này để huấn luyện ChatGPT cách giải quyết bất kỳ vấn đề nào khác.

3. Tính tự chủ

Tính nhất quán là một kỹ thuật gợi ý thú vị khác nhằm mục đích cải thiện chuỗi suy nghĩ gợi ý cho các vấn đề lý luận phức tạp hơn.

Vậy… sự khác biệt chính là gì?

Ý tưởng chính của Tự thống nhất là nhận thức được rằng chúng ta có thể đào tạo mô hình bằng một ví dụ sai. Hãy tưởng tượng tôi giải quyết vấn đề trước đó bằng một quá trình tư duy sai lầm:

Nếu John có 5 quả lê, sau đó ăn 2 quả, mua thêm 5 quả rồi đưa cho bạn mình 3 quả, hỏi anh ấy có bao nhiêu quả lê? Hãy suy nghĩ từng bước một.

Bắt đầu với 5 quả lê. John ăn 2 quả lê. Sau đó, anh ta đưa 3 quả lê cho bạn mình. Những hành động này có thể được kết hợp: 2 (đã ăn) + 3 (được cho) = tổng cộng 5 quả lê bị ảnh hưởng. Bây giờ, trừ tổng số quả lê bị ảnh hưởng từ 5 quả lê ban đầu: 5 (ban đầu) – 5 (bị ảnh hưởng) = 0 quả lê còn lại.
Sau đó, bất kỳ nhiệm vụ nào khác tôi gửi tới mô hình sẽ sai.

Đây là lý do tại sao Tính nhất quán liên quan đến việc lấy mẫu từ nhiều con đường lý luận khác nhau, mỗi con đường chứa đựng một chuỗi suy nghĩ, sau đó để LLM chọn con đường tốt nhất và nhất quán nhất để giải quyết vấn đề.

Một số kỹ thuật kỹ thuật nhanh chóng để thúc đẩy các mô hình LLM của chúng tôi
Hình ảnh được chụp từ giấy

Trong trường hợp này và làm theo ví dụ đầu tiên một lần nữa, chúng ta có thể chỉ ra mô hình các cách khác nhau để giải quyết vấn đề.

Nếu John có 5 quả lê, sau đó ăn 2 quả, mua thêm 5 quả rồi đưa cho bạn mình 3 quả, hỏi anh ấy có bao nhiêu quả lê?

Bắt đầu với 5 quả lê. John ăn 2 quả lê, để lại 5–2 = 3 quả lê. Anh ta mua thêm 5 quả lê, tổng số là 3 + 5 = 8 quả lê. Cuối cùng, anh ta đưa 3 quả lê cho bạn mình, vậy anh ta còn lại 8–3 = 5 quả lê.

Nếu John có 5 quả lê, sau đó ăn 2 quả, mua thêm 5 quả rồi đưa cho bạn mình 3 quả, hỏi anh ấy có bao nhiêu quả lê?

Bắt đầu với 5 quả lê. Sau đó anh ta mua thêm 5 quả lê. John ăn 2 quả lê bây giờ. Những hành động này có thể được kết hợp: 2 (đã ăn) + 5 (đã mua) = tổng cộng 7 quả lê. Trừ quả lê mà Jon đã ăn khỏi tổng số quả lê 7 (tổng số) – 2 (đã ăn) = 5 quả lê còn lại.

Đầu vào của bạn ở đây.

Và đây là kỹ thuật cuối cùng.

4. Nhắc nhở kiến thức chung

Một phương pháp phổ biến của kỹ thuật nhắc nhở là tăng cường kiến thức bổ sung cho truy vấn trước khi gửi lệnh gọi API cuối cùng tới GPT-3 hoặc GPT-4.

Theo Gia Thành Lưu và Co, chúng tôi luôn có thể thêm một số kiến thức vào bất kỳ yêu cầu nào để LLM biết rõ hơn về câu hỏi.

Một số kỹ thuật kỹ thuật nhanh chóng để thúc đẩy các mô hình LLM của chúng tôi
Hình ảnh được chụp từ giấy.

Vì vậy, chẳng hạn, khi hỏi ChatGPT xem liệu một phần môn chơi gôn có đang cố gắng đạt tổng điểm cao hơn những phần khác hay không, điều đó sẽ xác thực chúng tôi. Tuy nhiên, mục tiêu chính của golf lại hoàn toàn ngược lại. Đây là lý do tại sao chúng ta có thể bổ sung một số kiến thức trước đó để nói rằng “Người chơi có điểm thấp hơn sẽ thắng”.

Một số kỹ thuật kỹ thuật nhanh chóng để thúc đẩy các mô hình LLM của chúng tôi

Vậy... điều buồn cười là gì nếu chúng ta nói cho người mẫu biết chính xác câu trả lời?

Trong trường hợp này, kỹ thuật này được sử dụng để cải thiện cách LLM tương tác với chúng tôi.

Vì vậy, thay vì lấy bối cảnh bổ sung từ cơ sở dữ liệu bên ngoài, các tác giả của bài báo khuyên bạn nên để LLM tự tạo ra kiến thức của riêng mình. Kiến thức tự tạo này sau đó được tích hợp vào lời nhắc để củng cố lý luận thông thường và đưa ra kết quả đầu ra tốt hơn.

Vì vậy, đây là cách LLM có thể được cải thiện mà không cần tăng tập dữ liệu đào tạo của nó!

Kỹ thuật nhanh chóng đã nổi lên như một kỹ thuật then chốt trong việc nâng cao khả năng của LLM. Bằng cách lặp lại và cải tiến các lời nhắc, chúng tôi có thể giao tiếp theo cách trực tiếp hơn với các mô hình AI và do đó thu được kết quả đầu ra chính xác hơn và phù hợp với ngữ cảnh hơn, tiết kiệm cả thời gian và tài nguyên.

Đối với những người đam mê công nghệ, nhà khoa học dữ liệu và người sáng tạo nội dung, việc hiểu và nắm vững kỹ thuật nhanh chóng có thể là tài sản quý giá trong việc khai thác toàn bộ tiềm năng của AI.

Bằng cách kết hợp các lời nhắc đầu vào được thiết kế cẩn thận với các kỹ thuật tiên tiến hơn này, việc sở hữu bộ kỹ năng về kỹ thuật nhanh chóng chắc chắn sẽ mang lại cho bạn lợi thế trong những năm tới.

Josep Ferrer là một kỹ sư phân tích từ Barcelona. Anh tốt nghiệp kỹ sư vật lý và hiện đang làm việc trong lĩnh vực Khoa học dữ liệu ứng dụng cho khả năng di chuyển của con người. Anh ấy là người sáng tạo nội dung bán thời gian tập trung vào khoa học dữ liệu và công nghệ. Bạn có thể liên hệ với anh ấy trên LinkedIn, Twitter or Trung bình.