Programa do Curso

Revisão de Apache Airflow Noções básicas

  • Conceitos fundamentais: DAGs, tarefas e operadores
  • Arquitetura e componentes do fluxo de ar
  • Recapitulação de casos de uso e fluxos de trabalho comuns

Otimização do desempenho do fluxo de trabalho

  • Identificação de gargalos em pipelines de fluxo de ar
  • Técnicas de otimização no nível da tarefa
  • Aproveitamento de novas tentativas de tarefas, paralelismo e concorrência

Gerenciando dependências complexas

  • Definição de dependências dinâmicas em fluxos de trabalho
  • Lidar com fluxos de trabalho condicionais e de ramificação
  • Utilização eficaz de grupos de tarefas e sub-DAGs

Funcionalidades avançadas em Apache Airflow

  • Criação de operadores e ganchos personalizados
  • Implementação de sensores para accionadores externos
  • Integração de serviços e plug-ins de terceiros

Escalonamento de implantações Apache Airflow

  • Abordagens de escalonamento horizontal e vertical
  • Utilização de executores do Celery para execução distribuída
  • Melhores práticas para escalonamento em ambientes de nuvem

Monitorização e depuração de fluxos de trabalho

  • Configuração de registo e alertas para monitorização de fluxos de trabalho
  • Usando a interface do usuário e a CLI do Airflow para solução de problemas
  • Identificar e resolver problemas comuns em implementações do Airflow

Segurança Apache Airflow

  • Autenticação e controlo de acesso no Airflow
  • Proteção de dados sensíveis e configurações de ambiente
  • Implementando trilhas de auditoria para fluxos de trabalho

Use Cases e práticas recomendadas da empresa

  • Conceber fluxos de trabalho robustos para ambientes de produção
  • Aproveitamento do Airflow para engenharia de dados e pipelines ETL
  • Explorar estudos de casos reais de implementações escaláveis do Airflow

Resumo e próximos passos

Requisitos

  • Conhecimentos básicos de Apache Airflow
  • Familiaridade com conceitos de programação Python e de orquestração de fluxos de trabalho
  • Experiência na gestão e implantação de aplicações em ambientes Linux

Público-alvo

  • Engenheiros de dados
  • Profissionais DevOps
  • Programadores de software
 21 Horas

Número de participantes


Preço por Participante

Próximas Formações Provisórias

Categorias Relacionadas