Programa do Curso

Fundamentos da utilização intensiva de dados Platform Engineering

  • Introdução às aplicações com utilização intensiva de dados
  • Desafios na engenharia de plataformas para grandes volumes de dados
  • Visão geral das arquitecturas de processamento de dados

Modelação de dados e Management

  • Princípios de modelação de dados para escalabilidade
  • Opções e otimização do armazenamento de dados
  • Gestão do ciclo de vida dos dados num ambiente distribuído

Big Data Estruturas de processamento

  • Visão geral das ferramentas de processamento de grandes volumes de dados (Hadoop, Spark, Flink)
  • Processamento em lote vs. processamento em fluxo
  • Configuração de um pipeline de processamento de grandes volumes de dados

Plataformas de análise em tempo real

  • Arquitetar para a análise em tempo real
  • Motores de processamento de fluxo (Kafka Streams, Apache Storm)
  • Criação de dashboards e visualizações em tempo real

Orquestração de condutas de dados

  • Gestão do fluxo de trabalho com Apache Airflow e outros
  • Automatização de pipelines de dados para eficiência
  • Monitorização e emissão de alertas para pipelines de dados

Segurança e conformidade da plataforma

  • Práticas recomendadas de segurança para plataformas de dados
  • Garantir a privacidade dos dados e a conformidade regulamentar
  • Implementação de controlos seguros de acesso aos dados

Ajustamento e otimização do desempenho

  • Técnicas para otimizar o débito e a latência dos dados
  • Estratégias de dimensionamento para plataformas com uso intensivo de dados
  • Avaliação comparativa e monitorização do desempenho

Estudos de caso e práticas recomendadas

  • Análise de implementações bem-sucedidas de plataformas de dados
  • Lições aprendidas com os líderes do sector
  • Tendências emergentes na engenharia de plataformas com uso intensivo de dados

Projeto Capstone

  • Conceber uma solução de plataforma para uma aplicação com grande volume de dados
  • Implementação de um protótipo do pipeline de processamento de dados
  • Avaliar o desempenho e a escalabilidade da plataforma

Resumo e próximos passos

Requisitos

  • Conhecimento de estruturas de dados e algoritmos básicos
  • Experiência em programação Java, Scala ou Python
  • Familiaridade com conceitos básicos de bases de dados e SQL

Público-alvo

  • Programadores de software
  • Engenheiros de dados
  • Líderes técnicos
 21 Horas

Número de participantes


Preço por Participante

Próximas Formações Provisórias

Categorias Relacionadas