Orquestração de Fluxos de Dados com Apache Airflow
Orquestre o futuro e domine a sinfonia dos fluxos de dados com Apache Airflow!
Formato
Online
Data de Início
Imediato
Carga Horária
84 h/a
Prazo de Acesso
24 meses
Parcelado
12x no cartão
Pré-requisitos
Descrição do Curso
Orquestre o futuro e domine a sinfonia dos fluxos de dados com este curso 100% dedicado ao Apache Airflow, uma ferramenta poderosa que transformou o mundo da arquitetura e engenharia de dados.
Começaremos a jornada criando pipelines de dados fundamentais, introduzindo os alunos às bases e detalhes da criação de Directed Acyclic Graphs (DAGs) no Airflow.
À medida que evoluímos, você aprenderá a articular esses pipelines com precisão, através da criação de schedules e triggers que garantem a execução fluida e coordenada de seus workflows.
Mas você está na DSA e não ficaremos somente nos fundamentos. Embarcaremos na customização avançada com o desenvolvimento e uso de operadores personalizados, permitindo que você adapte o Airflow exatamente às suas necessidades.
E, considerando a necessidade das empresas modernas de operar em escala, você se aprofundará na configuração e execução de workflows em clusters, garantindo a escalabilidade e robustez dos seus fluxos de dados.
Um destaque especial do curso é a integração com outros sistemas e práticas essenciais, como a automação de testes utilizando CI/CD e o streaming de dados com Apache Kafka.
E vamos enfatizar a importância da manutenção proativa, ensinando você a configurar alertas e a monitorar seus workflows para garantir operações ininterruptas e bem-sucedidas.
Encerramos com um olhar para o futuro que está bem diante de nós, guiando você na construção e deploy de aplicações de Modelos de Linguagem (LLMs) usando o Apache Airflow, demonstrando sua versatilidade e adaptabilidade.
Logbook das Principais Atividades Práticas
- Projeto 1 - Pipeline de Extração, Transformação e Carga em Banco de Dados com Apache Airflow
- Projeto 2 - Extração de Dados via API com Apache Airflow
- Projeto 3 - Apache Airflow e Apache Spark Para Extração e Processamento de Dados em Tempo Real
- Projeto 4 - Airflow Para Extração de Dados em Tempo Real e Carga de Dados na AWS
- Projeto 5 - Automação de Testes com CI/CD e Streaming de Dados com Apache Kafka
- Projeto 6 - Configuração de Alertas e Monitoramento de DAGs
- Projeto 7 - Construção e Deploy de Aplicações com LLMs e Apache Airflow