En omfattande lista över resurser för att bemästra stora språkmodeller - KDnuggets

Återutgiven av Platon

anhängare: 0

En omfattande lista över resurser för att bemästra stora språkmodeller
Bild genererad med Leonardo.Ai

I detta stora landskap av AI växte en revolutionerande kraft fram i form av stora språkmodeller (LLMS). Det är inte bara ett modeord utan vår framtid. Deras förmåga att förstå och generera människoliknande text förde dem in i rampljuset och nu har det blivit ett av de hetaste forskningsområdena. Föreställ dig en chatbot som kan svara dig som om du pratar med dina vänner eller föreställer dig ett innehållsgenereringssystem som det blir svårt att skilja på om det är skrivet av en människa eller en AI. Om saker som detta fascinerar dig och du vill dyka längre in i hjärtat av LLM, då är du på rätt plats. Jag har samlat en omfattande lista med resurser som sträcker sig från informativa artiklar, kurser och GitHub-arkiv till relevanta forskningsartiklar som kan hjälpa dig att förstå dem bättre. Utan ytterligare förseningar, låt oss kickstarta vår fantastiska resa i LLM-världen.

En omfattande lista över resurser för att bemästra stora språkmodeller
Bild av Polina Tankilevich på Pexels

1. Deep Learning Specialization – Coursera

Länk: Deep Learning Specialization

Beskrivning: Djupt lärande utgör ryggraden i LLM. Den här omfattande kursen som lärs ut av Andrew Ng täcker de väsentliga ämnena för neurala nätverk, grunderna i datorseende och naturlig språkbehandling, och hur du strukturerar dina maskininlärningsprojekt.

2. Stanford CS224N: NLP med Deep Learning – YouTube

Länk: Stanford CS224N: NLP med Deep Learning

Beskrivning: Det är en guldgruva av kunskap och ger en grundlig introduktion till spetsforskning inom djupinlärning för NLP.

3. HuggingFace Transformers Course – HuggingFace

Länk: Kurs för HuggingFace Transformers

Beskrivning: Den här kursen lär ut NLP genom att använda bibliotek från HuggingFace-ekosystemet. Den täcker det inre arbetet och användningen av följande bibliotek från HuggingFace:

Transformatorer
Tokenizers
dataset
Accelerera

4. ChatGPT Prompt Engineering för utvecklare – Coursera

Länk: ChatGPT prompt ingenjörskurs

Beskrivning: ChatGPT är en populär LLM och den här kursen delar de bästa metoderna och de grundläggande principerna för att skriva effektiva uppmaningar för bättre svarsgenerering.

En omfattande lista över resurser för att bemästra stora språkmodeller
Bild genererad med Leonardo.Ai

1. LLM University – Cohere

Länk: LLM universitet

Beskrivning: Cohere erbjuder en specialiserad kurs för att bemästra LLM. Deras sekventiella spår, som täcker de teoretiska aspekterna av NLP, LLM och deras arkitektur i detalj, är riktat till nybörjare. Deras icke-sekventiella väg är för erfarna individer som är mer intresserade av de praktiska tillämpningarna och användningsfallen för dessa kraftfulla modeller snarare än deras interna arbete.

2. Stanford CS324: Stora språkmodeller – Stanford Site

Länk: Stanford CS324: Stora språkmodeller

Beskrivning: Den här kursen dyker djupare in i dessa modellers krångligheter. Du kommer att utforska grunderna, teorin, etiken och praktiska aspekterna av dessa modeller samtidigt som du får lite praktisk erfarenhet.

3. Princeton COS597G: Förstå stora språkmodeller – Princeton-webbplats

Länk: Förstå stora språkmodeller

Beskrivning: Det är en kurs på forskarnivå som erbjuder en omfattande läroplan, vilket gör den till ett utmärkt val för djupgående lärande. Du kommer att utforska de tekniska grunderna, kapaciteterna och begränsningarna för modeller som BERT, GPT, T5-modeller, blandning av expertmodeller, hämtningsbaserade modeller, etc.

4. ETH Zürich: Stora språkmodeller (LLM) – RycoLab

Länk: ETH Zürich: Stora språkmodeller

Beskrivning: Denna nydesignade kurs erbjuder en omfattande utforskning av LLM. Dyk ner i probabilistiska grunder, neurala nätverksmodelleringar, utbildningsprocesser, skalningstekniker och kritiska diskussioner om säkerhet och potentiellt missbruk.

5. Full Stack LLM Bootcamp – The Full Stack

Länk: Full Stack LLM Bootcamp

Beskrivning: Full Stack LLM-lägret är en branschrelevant kurs som täcker ämnen som snabba ingenjörstekniker, LLM-grunder, distributionsstrategier och användargränssnittsdesign, vilket säkerställer att deltagarna är väl förberedda för att bygga och distribuera LLM-applikationer.

6. Finjustera stora språkmodeller – Coursera

Länk: Finjustera stora språkmodeller

Beskrivning: Finjustering är tekniken som låter dig anpassa LLM till dina specifika behov. Genom att slutföra den här kursen kommer du att förstå när du ska tillämpa finjustering, dataförberedelse för finjustering och hur du tränar din LLM på ny data och utvärderar dess prestanda.

En omfattande lista över resurser för att bemästra stora språkmodeller
Bild genererad med Leonardo.Ai

1. Vad gör ChatGPT ... och varför fungerar det? – Steven Wolfram

Länk: Vad gör ChatGPT ... och varför fungerar det?

Beskrivning: Den här korta boken är skriven av Steven Wolfram, en känd vetenskapsman. Han diskuterar de grundläggande aspekterna av ChatGPT, dess ursprung i neurala nät och dess framsteg inom transformatorer, uppmärksamhetsmekanismer och naturlig språkbehandling. Det är en utmärkt läsning för någon som är intresserad av att utforska möjligheterna och begränsningarna hos LLM.

2. Understanding Large Language Models: A Transformative Reading List – Sebastian Raschka

Länk: Att förstå stora språkmodeller: En transformativ läslista

Beskrivning: Den innehåller en samling viktiga forskningsartiklar och ger en kronologisk läslista, från tidiga artiklar om återkommande neurala nätverk (RNN) till den inflytelserika BERT-modellen och vidare. Det är en ovärderlig resurs för forskare och praktiker att studera utvecklingen av NLP och LLM.

3. Artikelserie: Stora språkmodeller – Jay Alammar

Länk: Artikelserie: Stora språkmodeller

Beskrivning: Jay Alammars bloggar är en skattkammare av kunskap för alla som studerar stora språkmodeller (LLM) och transformatorer. Hans bloggar sticker ut för sin unika blandning av visualiseringar, intuitiva förklaringar och omfattande täckning av ämnet.

4. Bygga LLM-applikationer för produktion – Chip Huyen

Länk: Bygga LLM-applikationer för produktion

Beskrivning: I den här artikeln diskuteras utmaningarna med att producera LLM:er. Det ger insikter i uppgiftens komponerbarhet och visar upp lovande användningsfall. Alla som är intresserade av praktiska LLM kommer att tycka att det är riktigt värdefullt.

En omfattande lista över resurser för att bemästra stora språkmodeller
Bild av RealToughCandy.com på Pexels

1. Awesome-LLM ( 9k ⭐ )

Länk: Fantastiskt-LLM

Beskrivning: Det är en kurerad samling av papper, ramverk, verktyg, kurser, handledningar och resurser fokuserade på stora språkmodeller (LLM), med särskild tonvikt på ChatGPT.

2. LLMsPracticalGuide ( 6.9k ⭐ )

Länk: De praktiska guiderna för stora språkmodeller

Beskrivning: Det hjälper utövarna att navigera i det vidsträckta landskapet av LLM. Den är baserad på enkäten med titeln: Utnyttja kraften i LLM i praktiken: En undersökning om ChatGPT och Beyond och detta blogg.

3. LLMSurvey ( 6.1k ⭐ )

Länk: LLMSurvey

Beskrivning: Det är en samling enkätpapper och resurser baserade på uppsatsen med titeln: En undersökning av stora språkmodeller. Den innehåller också en illustration av den tekniska utvecklingen av modeller i GPT-serien samt en evolutionär graf över forskningsarbetet som utförts på LLaMA.

4. Awesome Graph-LLM ( 637 ⭐ )

Länk: Awesome-Graph-LLM

Beskrivning: Det är en värdefull källa för människor som är intresserade av skärningspunkten mellan grafbaserade tekniker och LLM. den tillhandahåller en samling forskningsrapporter, datauppsättningar, benchmarks, undersökningar och verktyg som fördjupar sig i detta framväxande område.

5. Awesome Langchain ( 5.4k ⭐ )

Länk: fantastisk långkedja

Beskrivning: LangChain är det snabba och effektiva ramverket för LLM-projekt och detta arkiv är navet för att spåra initiativ och projekt relaterade till LangChains ekosystem.

"En komplett undersökning om ChatGPT i AIGC-eran” – Det är en bra utgångspunkt för nybörjare i LLM. Den täcker heltäckande den underliggande tekniken, applikationerna och utmaningarna för ChatGPT.
"En undersökning av stora språkmodeller” – Den täcker de senaste framstegen inom LLM, särskilt i de fyra huvudaspekterna förträning, anpassningsjustering, utnyttjande och kapacitetsutvärdering.
"Utmaningar och tillämpningar av stora språkmodeller” – Diskuterar utmaningarna med LLM och de framgångsrika tillämpningsområdena för LLM.
"Uppmärksamhet är allt du behöver” – Transformers fungerar som grundstenen för GPT och andra LLM:er och detta dokument introducerar Transformer-arkitekturen.
"Den kommenterade transformatorn” – En resurs från Harvard University som ger en detaljerad och kommenterad förklaring av Transformer-arkitekturen, som är grundläggande för många LLM:er.
"Den illustrerade transformatorn” – En visuell guide som hjälper dig att förstå Transformer-arkitekturen på djupet, vilket gör komplexa koncept mer tillgängliga.
"BERT: Förutbildning av Deep Bidirectional Transformers för språkförståelse” – Detta dokument introducerar BERT, en mycket inflytelserik LLM som sätter nya riktmärken för många Natural Language Processing-uppgifter (NLP).

I den här artikeln har jag sammanställt en omfattande lista över resurser som är nödvändiga för att behärska stora språkmodeller (LLM). Men lärande är en dynamisk process, och kunskapsdelning är i centrum. Om du har ytterligare resurser i åtanke som du anser bör vara en del av denna omfattande lista, tveka inte att dela dem i kommentarsektionen. Dina bidrag kan vara ovärderliga för andra på deras inlärningsresa och skapa ett interaktivt och samarbetsutrymme för kunskapsberikning.

Kanwal Mehreen är en blivande mjukvaruutvecklare med ett stort intresse för datavetenskap och tillämpningar av AI inom medicin. Kanwal valdes ut som Google Generation Scholar 2022 för APAC-regionen. Kanwal älskar att dela teknisk kunskap genom att skriva artiklar om populära ämnen och brinner för att förbättra representationen av kvinnor i teknisk industri.