Une liste complète de ressources pour maîtriser les grands modèles de langage - KDnuggets

Republié par Platon

Suiveurs: 0

Une liste complète de ressources pour maîtriser les grands modèles de langage
Image générée avec Leonardo.Ai

Dans ce vaste paysage de l’IA, une force révolutionnaire a émergé sous la forme des grands modèles linguistiques (LLMS). Ce n’est pas seulement un mot à la mode, mais notre avenir. Leur capacité à comprendre et à générer des textes de type humain les a mis sous les projecteurs et est désormais devenu l’un des domaines de recherche les plus en vogue. Imaginez un chatbot qui peut vous répondre comme si vous parliez à vos amis ou imaginez un système de génération de contenu dont il devient difficile de distinguer s'il est écrit par un humain ou une IA. Si des choses comme celle-ci vous intriguent et que vous souhaitez plonger davantage au cœur des LLM, alors vous êtes au bon endroit. J'ai rassemblé une liste complète de ressources allant des articles informatifs, des cours et des référentiels GitHub aux documents de recherche pertinents qui peuvent vous aider à mieux les comprendre. Sans plus attendre, commençons notre incroyable voyage dans le monde des LLM.

Une liste complète de ressources pour maîtriser les grands modèles de langage
Image Polina Tankilévitch sur Pexels

1. Spécialisation en apprentissage profond – Coursera

Lien : Spécialisation en apprentissage en profondeur

Description: L'apprentissage profond constitue l'épine dorsale des LLM. Ce cours complet dispensé par Andrew Ng couvre les sujets essentiels des réseaux de neurones, les bases de la vision par ordinateur et du traitement du langage naturel, et comment structurer vos projets d'apprentissage automatique.

2. Stanford CS224N : PNL avec Deep Learning – YouTube

Lien : Stanford CS224N : PNL avec Deep Learning

Description: C'est une mine d'or de connaissances et fournit une introduction approfondie à la recherche de pointe en matière d'apprentissage profond pour la PNL.

3. Cours de transformateurs HuggingFace – HuggingFace

Lien : Cours de transformateurs HuggingFace

Description: Ce cours enseigne la PNL en utilisant les bibliothèques de l'écosystème HuggingFace. Il couvre le fonctionnement interne et l'utilisation des bibliothèques suivantes de HuggingFace :

Transformateurs
Tokeniseurs
Jeux de données
Accélérez

4. Ingénierie d'invite ChatGPT pour les développeurs – Coursera

Lien : Cours d'ingénierie rapide ChatGPT

Description: ChatGPT est un LLM populaire et ce cours partage les meilleures pratiques et les principes essentiels pour rédiger des invites efficaces pour une meilleure génération de réponses.

Une liste complète de ressources pour maîtriser les grands modèles de langage
Image générée avec Leonardo.Ai

1. Université LLM – Cohere

Lien : Université LLM

Description: Cohere propose un cours spécialisé pour maîtriser les LLM. Leur parcours séquentiel, qui couvre en détail les aspects théoriques de la PNL, des LLM et de leur architecture, s'adresse aux débutants. Leur parcours non séquentiel s'adresse aux personnes expérimentées davantage intéressées par les applications pratiques et les cas d'utilisation de ces modèles puissants que par leur fonctionnement interne.

2. Stanford CS324 : Grands modèles de langage – Site de Stanford

Lien : Stanford CS324 : grands modèles de langage

Description: Ce cours approfondit les subtilités de ces modèles. Vous explorerez les principes fondamentaux, la théorie, l'éthique et les aspects pratiques de ces modèles tout en acquérant une expérience pratique.

3. Princeton COS597G : Comprendre les grands modèles de langage – Site de Princeton

Lien : Comprendre les grands modèles de langage

Description: Il s'agit d'un cours de niveau supérieur qui propose un programme complet, ce qui en fait un excellent choix pour un apprentissage approfondi. Vous explorerez les fondements techniques, les capacités et les limites de modèles tels que les modèles BERT, GPT, T5, les modèles mixtes d'experts, les modèles basés sur la récupération, etc.

4. ETH Zurich : Grands modèles de langage (LLM) – RycoLab

Lien : ETH Zurich : grands modèles linguistiques

Description: Ce cours nouvellement conçu offre une exploration complète des LLM. Plongez dans les fondements probabilistes, la modélisation des réseaux neuronaux, les processus de formation, les techniques de mise à l'échelle et les discussions critiques sur la sécurité et les utilisations abusives potentielles.

5. Bootcamp LLM Full Stack – La pile complète

Lien : Bootcamp Full Stack LLM

Description: Le camp d'entraînement Full Stack LLM est un cours pertinent pour l'industrie qui couvre des sujets tels que les techniques d'ingénierie rapide, les principes fondamentaux du LLM, les stratégies de déploiement et la conception de l'interface utilisateur, garantissant que les participants sont bien préparés pour créer et déployer des applications LLM.

6. Affiner les grands modèles de langage – Coursera

Lien : Ajustement fin des grands modèles de langage

Description: Le Fine Tuning est la technique qui vous permet d’adapter les LLM à vos besoins spécifiques. En suivant ce cours, vous comprendrez quand appliquer le réglage fin, la préparation des données pour le réglage fin, et comment former votre LLM sur de nouvelles données et évaluer ses performances.

Une liste complète de ressources pour maîtriser les grands modèles de langage
Image générée avec Leonardo.Ai

1. Que fait ChatGPT… et pourquoi ça marche ? –Steven Wolfram

Lien : Que fait ChatGPT… et pourquoi ça marche ?

Description: Ce petit livre est écrit par Steven Wolfram, un scientifique renommé. Il discute des aspects fondamentaux de ChatGPT, de ses origines dans les réseaux neuronaux et de ses progrès en matière de transformateurs, de mécanismes d'attention et de traitement du langage naturel. C'est une excellente lecture pour quelqu'un qui souhaite explorer les capacités et les limites des LLM.

2. Comprendre les grands modèles de langage : une liste de lecture transformatrice – Sebastian Raschka

Lien : Comprendre les grands modèles de langage : une liste de lecture transformatrice

Description: Il contient une collection d'articles de recherche importants et fournit une liste de lecture chronologique, depuis les premiers articles sur les réseaux neuronaux récurrents (RNN) jusqu'au modèle influent BERT et au-delà. Il s’agit d’une ressource inestimable permettant aux chercheurs et aux praticiens d’étudier l’évolution de la PNL et des LLM.

3. Série d'articles : Grands modèles de langage – Jay Alammar

Lien : Série d'articles : Grands modèles de langage

Description: Les blogs de Jay Alammar constituent un trésor de connaissances pour quiconque étudie les grands modèles linguistiques (LLM) et les transformateurs. Ses blogs se distinguent par leur mélange unique de visualisations, d'explications intuitives et de couverture complète du sujet.

4. Création d'applications LLM pour la production – Chip Huyen

Lien : Création d'applications LLM pour la production

Description: Dans cet article, les défis de la production des LLM sont abordés. Il offre un aperçu de la composabilité des tâches et présente des cas d'utilisation prometteurs. Toute personne intéressée par les LLM pratiques les trouvera vraiment utiles.

Une liste complète de ressources pour maîtriser les grands modèles de langage
Image RealToughCandy.com sur Pexels

1. Génial-LLM ( 9k ⭐ )

Lien : Génial-LLM

Description: Il s'agit d'une collection organisée d'articles, de cadres, d'outils, de cours, de didacticiels et de ressources axés sur les grands modèles de langage (LLM), avec un accent particulier sur ChatGPT.

2. Guide pratique des LLM ( 6.9k ⭐ )

Lien : Les guides pratiques des grands modèles de langage

Description: Il aide les praticiens à naviguer dans le vaste paysage des LLM. Il est basé sur le document d’enquête intitulé : Exploiter la puissance des LLM en pratique : une enquête sur ChatGPT et au-delà ainsi que le this blog.

3. Enquête LLM ( 6.1k ⭐ )

Lien : Enquête LLM

Description: Il s'agit d'une collection de documents d'enquête et de ressources basés sur l'article intitulé : Une enquête sur les grands modèles de langage. Il contient également une illustration de l'évolution technique des modèles de la série GPT ainsi qu'un graphique d'évolution des travaux de recherche menés sur LLaMA.

4. Super Graph-LLM (637 ⭐)

Lien : Génial-Graph-LLM

Description: Il s'agit d'une source précieuse pour les personnes intéressées par l'intersection des techniques basées sur les graphiques et des LLM. il fournit une collection de documents de recherche, d'ensembles de données, de références, d'enquêtes et d'outils qui approfondissent ce domaine émergent.

5. Génial Langchain ( 5.4k ⭐ )

Lien : génial-langchain

Description: LangChain est le cadre rapide et efficace pour les projets LLM et ce référentiel est la plaque tournante pour suivre les initiatives et les projets liés à l'écosystème de LangChain.

"Une enquête complète sur ChatGPT à l'ère AIGC» – C'est un excellent point de départ pour les débutants en LLM. Il couvre de manière exhaustive la technologie, les applications et les défis sous-jacents de ChatGPT.
"Une enquête sur les grands modèles de langage» – Il couvre les avancées récentes des LLM en particulier dans les quatre aspects majeurs de la pré-formation, du réglage de l'adaptation, de l'utilisation et de l'évaluation des capacités.
"Défis et applications des grands modèles de langage» – Discute des défis des LLM et des domaines d'application réussis des LLM.
"L'attention est tout ce dont vous avez besoin» – Les transformateurs servent de pierre angulaire pour GPT et autres LLM et cet article présente l'architecture Transformer.
"Le transformateur annoté» – Une ressource de l'Université Harvard qui fournit une explication détaillée et annotée de l'architecture Transformer, qui est fondamentale pour de nombreux LLM.
"Le transformateur illustré» – Un guide visuel qui vous aide à comprendre l'architecture Transformer en profondeur, rendant les concepts complexes plus accessibles.
"BERT: Pré-formation de transformateurs bidirectionnels profonds pour la compréhension du langage» – Cet article présente BERT, un LLM très influent qui établit de nouvelles références pour de nombreuses tâches de traitement du langage naturel (NLP).

Dans cet article, j'ai dressé une liste complète de ressources essentielles à la maîtrise des grands modèles linguistiques (LLM). Cependant, l’apprentissage est un processus dynamique et le partage des connaissances en est le cœur. Si vous avez en tête des ressources supplémentaires qui, selon vous, devraient faire partie de cette liste complète, n'hésitez pas à les partager dans la section commentaires. Vos contributions pourraient être inestimables pour d’autres au cours de leur parcours d’apprentissage, créant un espace interactif et collaboratif pour l’enrichissement des connaissances.

Kanwal Mehren est un développeur de logiciels en herbe avec un vif intérêt pour la science des données et les applications de l'IA en médecine. Kanwal a été sélectionné comme Google Generation Scholar 2022 pour la région APAC. Kanwal aime partager ses connaissances techniques en écrivant des articles sur des sujets d'actualité et se passionne pour l'amélioration de la représentation des femmes dans l'industrie technologique.