Novo curso de aprofundamento técnico: Generative AI Foundations na AWS | Amazon Web Services

Novo curso de aprofundamento técnico: Generative AI Foundations na AWS | Amazon Web Services

Nó Fonte: 2784418

Generative AI Foundations on AWS é um novo curso técnico aprofundado que fornece fundamentos conceituais, conselhos práticos e orientação prática para pré-treinar, ajustar e implantar modelos básicos de última geração na AWS e além. Desenvolvido pelas fundações mundiais de IA generativa da AWS, líder Emily Webber, este curso prático gratuito e o código-fonte de suporte do GitHub lançados via AWSYouTube. Se você está procurando uma lista de reprodução com curadoria dos principais recursos, conceitos e orientações para se atualizar sobre os modelos básicos e, especialmente, aqueles que desbloqueiam recursos generativos em seus projetos de ciência de dados e aprendizado de máquina, não procure mais.

Durante este mergulho profundo de 8 horas, você conhecerá as principais técnicas, serviços e tendências que o ajudarão a compreender os modelos básicos desde o início. Isso significa quebrar a teoria, a matemática e os conceitos abstratos combinados com exercícios práticos para obter intuição funcional para aplicação prática. Ao longo do curso, nos concentramos em um amplo espectro de técnicas generativas de IA progressivamente complexas, fornecendo a você uma base sólida para compreender, projetar e aplicar seus próprios modelos para obter o melhor desempenho. Começaremos recapitulando os modelos básicos, entendendo de onde eles vêm, como funcionam, como se relacionam com a IA generativa e o que você pode fazer para personalizá-los. Em seguida, você aprenderá como escolher o modelo de base certo para seu caso de uso.

Depois de desenvolver uma forte compreensão contextual dos modelos de fundação e de como usá-los, você será apresentado ao assunto principal deste curso: pré-treinamento de novos modelos de fundação. Você aprenderá por que deseja fazer isso, bem como como e onde é competitivo. Você ainda aprenderá como usar as leis de dimensionamento para escolher o modelo, o conjunto de dados e os tamanhos de computação corretos. Abordaremos a preparação de conjuntos de dados de treinamento em escala na AWS, incluindo a escolha das instâncias e técnicas de armazenamento certas. Abordaremos o ajuste fino de seus modelos básicos, a avaliação de técnicas recentes e a compreensão de como executá-las com seus scripts e modelos. Iremos mergulhar no aprendizado por reforço com feedback humano, explorando como usá-lo com habilidade e em escala para realmente maximizar o desempenho do seu modelo básico.

Por fim, você aprenderá como aplicar a teoria à produção, implantando seu novo modelo básico em Amazon Sage Maker, inclusive em várias GPUs e usando os principais padrões de design, como geração aumentada de recuperação e diálogo encadeado. Como um bônus adicional, orientaremos você em um mergulho profundo no Stable Diffusion, solicitará as melhores práticas de engenharia, levantará o LangChain e muito mais.

Mais leitor do que consumidor de vídeo? Você pode conferir meu livro de 15 capítulos “Pretrain Vision and Large Language Models in Python: End-to-end Techniques for Building and Deploying Models Foundation on AWS”, lançado em 31 de maio de 2023, com publicação Packt e já disponível em Amazon. Quer ir direto para o código? Estou com você: cada vídeo começa com uma visão geral de 45 minutos dos principais conceitos e recursos visuais. Em seguida, darei a você um passo a passo de 15 minutos da parte prática. Todos os notebooks de exemplo e códigos de suporte serão enviados em um repositório público, que você pode usar para percorrer por conta própria. Sinta-se à vontade para entrar em contato comigo no Medium, LinkedIn, GitHubou por meio de suas equipes da AWS. Aprender mais sobre IA generativa na AWS.

Trilhas felizes!

Esboço de Curso

1. Introdução aos Modelos de Fundação

  • O que são grandes modelos de linguagem e como funcionam?
  • De onde eles vêm?
  • Quais são os outros tipos de IA generativa?
  • Como você personaliza um modelo de base?
  • Como você avalia um modelo generativo?
  • Passo a passo prático: Modelos básicos no SageMaker

Slides da lição 1

Recursos de demonstração prática da lição 1

2. Escolhendo o modelo de fundação certo

  • Por que é importante começar com o modelo de base certo
  • Considerando o tamanho
  • Considerando a precisão
    • Considerando a facilidade de uso
  • Considerando o licenciamento
  • Considerando exemplos anteriores deste modelo funcionando bem em seu setor
    • Considerando benchmarks externos

Slides da lição 2

Recursos de demonstração prática da lição 2

3. Usando modelos de base pré-treinados: engenharia imediata e ajuste fino

  • Os benefícios de começar com um modelo de base pré-treinado
  • Engenharia de alerta:
    • tiro zero
    • Tiro único
    • Poucos tiros
    • Resumo
      • Classificação
    • Tradução
  • Afinação
    • Ajuste fino clássico
    • Ajuste fino eficiente de parâmetros
    • A nova biblioteca do Hugging Face
    • Passo a passo prático: engenharia imediata e ajuste fino no SageMaker

Slides da lição 3

Recursos de demonstração prática da lição 3

4. Pré-treinar um novo modelo básico

  • Por que você desejaria ou precisaria criar um novo modelo de base?
    • Comparando o pré-treinamento com o ajuste fino
  • Preparando seu conjunto de dados para pré-treinamento
  • Treinamento distribuído no SageMaker: bibliotecas, scripts, trabalhos, recursos
  • Por que e como adaptar um novo script para treinamento distribuído SageMaker

Slides da lição 4

Recursos de demonstração prática da lição 4

5. Preparação de dados e treinamento em escala

  • Opções para preparar dados em escala na AWS
  • Explique o paralelismo de trabalho do SageMaker em instâncias de CPU
  • Explicar os modos de envio de dados para o SageMaker Training
  • Introdução ao FSx para Lustre
  • Usando FSx for Lustre em escala para treinamento SageMaker
  • Passo a passo prático: configurando o Lustre para treinamento do SageMaker

Slides da lição 5

Recursos de demonstração prática da lição 5

6. Aprendizagem por reforço com feedback humano

  • O que é essa técnica e por que nos preocupamos com ela
  • Como contornar problemas de subjetividade e objetividade classificando as preferências humanas em escala
  • Como funciona o Tech & Data Studio:
  • Como fazer isso com SageMaker Ground Truth
  • Modelagem de recompensa atualizada
  • Passo a passo prático: RLFH no SageMaker

Slides da lição 6

Recursos de demonstração prática da lição 6

7. Implantando um modelo básico

  • Por que queremos implantar modelos?
  • Diferentes opções para implantação de FMs na AWS
  • Como otimizar seu modelo para implantação
  • Aprofundamento do contêiner de implantação de modelo grande
  • Principais dicas de configuração para implantar FMs no SageMaker
  • Dicas imediatas de engenharia para invocar modelos de base
  • Usando geração aumentada de recuperação para mitigar alucinações
  • Passo a passo prático: Implantando um FM no SageMaker

Slides da lição 7

Recursos de demonstração prática da lição 7


Sobre o autor

Emily Webber ingressou na AWS logo após o lançamento do SageMaker e vem tentando contar ao mundo sobre isso desde então! Além de criar novas experiências de ML para os clientes, Emily gosta de meditar e estudar o budismo tibetano.

Carimbo de hora:

Mais de Aprendizado de máquina da AWS