Programa do Curso

Introdução ao QLoRA e Quantização

  • Visão geral da quantização e seu papel na otimização de modelos
  • Introdução ao framework QLoRA e seus benefícios
  • Diferenças-chave entre o QLoRA e métodos tradicionais de fine-tuning

Fundamentos do Large Language Models (LLMs)

  • Introdução a LLMs (Modelos de Linguagem Grandes) e sua arquitetura
  • Desafios do fine-tuning de grandes modelos em larga escala
  • Como a quantização ajuda a superar as restrições computacionais no fine-tuning de LLMs

Implementando QLoRA para Fine-Tuning LLMs

  • Configurando o framework e ambiente do QLoRA
  • Preparando conjuntos de dados para fine-tuning com QLoRA
  • Guia passo a passo para implementar QLoRA em LLMs usando Python e PyTorch/TensorFlow

Otimizando o Desempenho do Fine-Tuning com QLoRA

  • Como equilibrar a precisão e o desempenho do modelo com quantização
  • Técnicas para reduzir custos computacionais e uso de memória durante o fine-tuning
  • Estratégias para fine-tuning com requisitos mínimos de hardware

Avaliando Modelos Fine-Tuned

  • Como avaliar a eficácia dos modelos fine-tuned
  • Métricas de avaliação comuns para modelos de linguagem
  • Otimizando o desempenho do modelo após o tuning e solucionando problemas

Implantando e Escalando Modelos Fine-Tuned

  • Práticas recomendadas para implantar LLMs quantizados em ambientes de produção
  • Escalar implantação para lidar com solicitações em tempo real
  • Ferramentas e frameworks para implantação e monitoramento do modelo

Casos Reais Use Case e Estudos de Caso

  • Estudo de caso: Fine-tuning de LLMs para suporte ao cliente e tarefas de PLN (Processamento de Linguagem Natural)
  • Exemplos de fine-tuning de LLMs em várias indústrias como saúde, finanças e comércio eletrônico
  • Livros aprendidos com implantações reais de modelos baseados em QLoRA

Resumo e Próximos Passos

Requisitos

  • Compreensão dos fundamentos de aprendizado de máquina e redes neurais
  • Experiência com ajuste fino de modelos e transfer learning
  • Familiaridade com grandes modelos linguísticos (LLMs) e frameworks de deep learning (por exemplo, PyTorch, TensorFlow)

Público-alvo

  • Engenheiros de aprendizado de máquina
  • Desenvolvedores de IA
  • Cientistas de dados
 14 Horas

Número de participantes


Preço por Participante

Próximas Formações Provisórias

Categorias Relacionadas