Comece Agora

Orquestração de Fluxos de Dados com Apache Airflow

Orquestre o futuro e domine a sinfonia dos fluxos de dados com este curso 100% dedicado ao Apache Airflow, uma ferramenta poderosa que transformou o mundo da arquitetura e engenharia de dados. 
Formato

Curso Online

Data de Início

Imediato

Carga Horária

84 h/a

Prazo de Acesso

24 meses

Investimento

O pagamento pode ser feito à vista ou em até 12x sem juros no cartão de crédito

Pré-Requisitos

Recomendamos ter concluído o Curso Gratuito Introdução à Ciência de Dados


Descrição do Curso

Orquestre o futuro e domine a sinfonia dos fluxos de dados com este curso 100% dedicado ao Apache Airflow, uma ferramenta poderosa que transformou o mundo da arquitetura e engenharia de dados.

Começaremos a jornada criando pipelines de dados fundamentais, introduzindo os alunos às bases e detalhes da criação de Directed Acyclic Graphs (DAGs) no Airflow. À medida que evoluímos, você aprenderá a articular esses pipelines com precisão, através da criação de schedules e triggers que garantem a execução fluida e coordenada de seus workflows.

Mas você está na DSA e não ficaremos somente nos fundamentos. Embarcaremos na customização avançada com o desenvolvimento e uso de operadores personalizados, permitindo que você adapte o Airflow exatamente às suas necessidades.

E, considerando a necessidade das empresas modernas de operar em escala, você se aprofundará na configuração e execução de workflows em clusters, garantindo a escalabilidade e robustez dos seus fluxos de dados.

Um destaque especial do curso é a integração com outros sistemas e práticas essenciais, como a automação de testes utilizando CI/CD e o streaming de dados com Apache Kafka.

E vamos enfatizar a importância da manutenção proativa, ensinando você a configurar alertas e a monitorar seus workflows para garantir operações ininterruptas e bem-sucedidas.

Encerramos com um olhar para o futuro que está bem diante de nós, guiando você na construção e deploy de aplicações de Modelos de Linguagem (LLMs) usando o Apache Airflow, demonstrando sua versatilidade e adaptabilidade.



Os projetos práticos incluídos neste curso permitirão você aplicar o conhecimento adquirido em cenários do mundo real, solidificando sua compreensão e competência na utilização do Apache Airflow para a orquestração de fluxos de dados. 

Confira o Logbook das principais atividades práticas do curso:

  • Projeto 1 - Criando Pipelines de Dados com Apache Airflow
  • Projeto 2 - Criação de Schedules e Triggers para DAGs
  • Projeto 3 - Desenvolvimento e Uso de Operadores Customizados
  • Projeto 4 - Configuração e Execução de DAGs em Cluster
  • Projeto 5 - Automação de Testes com CI/CD e Streaming de Dados com Apache Kafka
  • Projeto 6 - Configuração de Alertas e Monitoramento de DAGs
  • Projeto 7 - Construção e Deploy de Aplicações com LLMs e Apache Airflow


Ao concluir este curso, você não só compreenderá o Apache Airflow em sua essência, mas estará equipado para implementar soluções complexas e escaláveis em qualquer ambiente de dados que demande precisão e eficiência.

Pronto(a) para começar sua jornada como Arquiteto de Dados?