Obrigado por enviar sua consulta! Um dos membros da nossa equipe entrará em contato com você em breve.
Obrigado por enviar sua reserva! Um dos membros da nossa equipe entrará em contato com você em breve.
Programa do Curso
Revisão de Apache Airflow Noções básicas
- Conceitos fundamentais: DAGs, tarefas e operadores
- Arquitetura e componentes do fluxo de ar
- Recapitulação de casos de uso e fluxos de trabalho comuns
Otimização do desempenho do fluxo de trabalho
- Identificação de gargalos em pipelines de fluxo de ar
- Técnicas de otimização no nível da tarefa
- Aproveitamento de novas tentativas de tarefas, paralelismo e concorrência
Gerenciando dependências complexas
- Definição de dependências dinâmicas em fluxos de trabalho
- Lidar com fluxos de trabalho condicionais e de ramificação
- Utilização eficaz de grupos de tarefas e sub-DAGs
Funcionalidades avançadas em Apache Airflow
- Criação de operadores e ganchos personalizados
- Implementação de sensores para accionadores externos
- Integração de serviços e plug-ins de terceiros
Escalonamento de implantações Apache Airflow
- Abordagens de escalonamento horizontal e vertical
- Utilização de executores do Celery para execução distribuída
- Melhores práticas para escalonamento em ambientes de nuvem
Monitorização e depuração de fluxos de trabalho
- Configuração de registo e alertas para monitorização de fluxos de trabalho
- Usando a interface do usuário e a CLI do Airflow para solução de problemas
- Identificar e resolver problemas comuns em implementações do Airflow
Segurança Apache Airflow
- Autenticação e controlo de acesso no Airflow
- Proteção de dados sensíveis e configurações de ambiente
- Implementando trilhas de auditoria para fluxos de trabalho
Use Cases e práticas recomendadas da empresa
- Conceber fluxos de trabalho robustos para ambientes de produção
- Aproveitamento do Airflow para engenharia de dados e pipelines ETL
- Explorar estudos de casos reais de implementações escaláveis do Airflow
Resumo e próximos passos
Requisitos
- Conhecimentos básicos de Apache Airflow
- Familiaridade com conceitos de programação Python e de orquestração de fluxos de trabalho
- Experiência na gestão e implantação de aplicações em ambientes Linux
Público-alvo
- Engenheiros de dados
- Profissionais DevOps
- Programadores de software
21 Horas