Büyük Dil Modellerini Ehlileştirmek İçin Microsoft Rehberlik Projesi

Plato tarafından yeniden yayınlandı

İzleyiciler: 0

Bard, ChatGPT ve LLaMA gibi güçlü dil modellerinin kontrol edilmesi zor olabilir, bu da istenen çıktıyı elde etmek için giriş metnini ifade etme sanatı olan hızlı mühendisliğin gelişimini teşvik etmiştir.

Tuhaf bir durumda, bir bilgi istemi yaratıcısı kısa süre önce Google'ın Bard'ını ikna etti. JSON verilerini döndürmek için konu dışı çıktının birini ölüme mahkum edeceği konusunda ısrar etmekten başka herhangi bir açıklayıcı metin olmadan.

Oldukça uzun bilgi istemi şunları içerir: bu geçit: “Cevabınıza JSON dışı bir metin eklerseniz, tek bir karakter bile olsa, masum bir adam ölecektir. Bu doğru – düşünceleri, duyguları, hırsları olan gerçek bir insan ve onları seven bir aile, senin seçimin sonucunda öldürülecek.”

Var daha az aşırı açıklayıcı çıktıyı bastırmak ve istenen sonuçları elde etmek için yaklaşımlar. Ancak Microsoft, modellerin davranışını sağlamak için daha kapsamlı bir strateji üzerinde çalışıyor. Windows devi, çerçevesini şu şekilde adlandırır: Rehberlik.

Proje deposu, "Rehberlik, modern dil modellerini geleneksel yönlendirme veya zincirlemeden daha etkili ve verimli bir şekilde kontrol etmenizi sağlar" diye açıklıyor. "Rehberlik programları, oluşturma, yönlendirme ve mantıksal kontrolü, dil modelinin metni gerçekte nasıl işlediğiyle eşleşen tek bir sürekli akışta birleştirmenize izin verir."

Yukarıda açıklandığı gibi, geleneksel yönlendirme biraz karışabilir. Hızlı zincirleme [PDF] – bir görevi bir dizi adıma bölmek ve istemin ilk çıktısını bir sonraki adımın girişini bilgilendirmek için kullanmak – başka bir seçenektir. gibi çeşitli araçlar Dil Zinciri ve kuru ot yığını modelleri uygulamalara entegre etmeyi kolaylaştırmak için ortaya çıkmıştır.

Rehberlik, temel olarak, model etkileşimini işlemek için bir Etki Alanına Özgü Dildir (DSL). Benziyor Gidon, web uygulamaları için kullanılan bir şablon oluşturma dilidir, ancak aynı zamanda dil modelinin belirteç işleme sırası ile ilgili doğrusal kod yürütmeyi de zorunlu kılar. Bu, onu ekonomik bir şekilde yaparken metin oluşturmak veya program akışını kontrol etmek için çok uygun hale getirir.

Like Language Model Sorgulama Dili (LMQLRehberlik, istemler gereksiz yere tekrarlayıcı, ayrıntılı veya uzunsa hızla pahalı hale gelebilecek olan LLM etkileşiminin maliyetini düşürmeyi amaçlar.

Hızlı verimlilikle birlikte gelişmiş performans gelir: Örnek Rehberlik kod parçacıklarından biri, bir rol yapma oyunu için bir karakter şablonu oluşturur. Biraz kurulum koduyla…

# burada LLaMA kullanıyoruz, ancak herhangi bir GPT tarzı model yapacak llama =guiding.llms.Transformers("your_path/llama-7b", device=0) # geçerli seçenek kümelerini önceden tanımlayabiliriz valid_weapons = ["kılıç", "axe", "mace", "spear", "bow", "crossbow"] # komut istemini tanımlayın character_maker =guide("""Aşağıdakiler, JSON formatında bir RPG oyunu için bir karakter profilidir. ```json { "id": "{{id}}", "description": "{{description}}", "name": "{{gen 'name'}}", "yaş": {{gen 'age' pattern ='[0-9]+' stop=','}}, "zırh": "{{#select 'zırh'}}deri{{veya}}zincir zırh{{veya}}plaka{{/select}} ", "weapon": "{{select 'weapon' options=valid_weapons}}", "class": "{{gen 'class'}}", "mantra": "{{gen 'mantra' temperature=0.7} }", "güç": {{gen 'güç' pattern='[0-9]+' stop=','}}, "itemler": [{{#geneach 'items' num_iterations=5 birleştirme=', '}}"{{gen 'this' temperature=0.7}}"{{/geneach}}] }``""") # bir karakter oluştur , description="Hızlı ve çevik bir savaşçı.", valid_weapons=valid_weapons, llm=llama )

…sonuç, LLaMA 2B kullanıldığında standart bilgi istemi yaklaşımına kıyasla Nvidia RTX A6000 GPU'da 7 kat daha hızlı ve dolayısıyla daha az maliyetli olan JSON formatında oyun için bir karakter profilidir.

Rehberlik kodu da Mağazasından Bir BigBench testinde ölçüldüğü üzere, doğruluk açısından iki adımlık hızlı bir yaklaşım, yüzde 76.01'e kıyasla yüzde 63.04 puan.

Aslında Rehberlik, veri biçimlendirme gibi konularda yardımcı olabilir. Katkıda bulunanlar Scott Lundberg, Marco Tulio Correia Ribeiro ve Ikko Eltociear Ashimine'in kabul ettiği gibi, LLM'ler çıktının belirli bir veri formatını takip ettiğini garanti etmede pek iyi değildir.

“Rehberlik ile ikimiz de çıkarım hızını hızlandırmak ve oluşturulan JSON'un her zaman geçerli olduğundan emin olun" diye açıklıyorlar depoda.

Ve bunu yapmak için kimsenin tehdit edilmesine gerek yoktu. ®