Orquestração de Fluxos de Dados com Apache Airflow
Orquestre o futuro e domine a sinfonia dos fluxos de dados com Apache Airflow!
Formato
Online
Data de Início
Imediato
Carga Horária
84 h/a
Prazo de Acesso
24 meses
Parcelado
12x no cartão
Pré-requisitos
Descrição do Curso
Orquestre o futuro e domine a sinfonia dos fluxos de dados com este curso 100% dedicado ao Apache Airflow, uma ferramenta poderosa que transformou o mundo da arquitetura e engenharia de dados.
Começaremos a jornada criando pipelines de dados fundamentais, introduzindo os alunos às bases e detalhes da criação de Directed Acyclic Graphs (DAGs) no Airflow.
À medida que evoluímos, você aprenderá a articular esses pipelines com precisão, através da criação de schedules e triggers que garantem a execução fluida e coordenada de seus workflows.
Mas você está na DSA e não ficaremos somente nos fundamentos. Embarcaremos na customização avançada com o desenvolvimento e uso de operadores personalizados, permitindo que você adapte o Airflow exatamente às suas necessidades.
E, considerando a necessidade das empresas modernas de operar em escala, você se aprofundará na configuração e execução de workflows em clusters, garantindo a escalabilidade e robustez dos seus fluxos de dados.
E vamos enfatizar a importância da manutenção proativa, ensinando você a configurar alertas e a monitorar seus workflows para garantir operações ininterruptas e bem-sucedidas.
Encerramos com um olhar para o futuro que está bem diante de nós, guiando você na construção e deploy de aplicações de Modelos de Linguagem (LLMs) usando o Apache Airflow, demonstrando sua versatilidade e adaptabilidade.
Logbook das Principais Atividades Práticas
- Projeto 1 - Pipeline de Extração, Transformação e Carga em Banco de Dados com Apache Airflow
- Projeto 2 - Extração de Dados via API com Apache Airflow
- Projeto 3 - Apache Airflow e Apache Spark Para Extração e Processamento de Dados em Tempo Real
- Projeto 4 - Airflow Para Extração de Dados em Tempo Real e Carga de Dados na AWS
- Projeto 5 - Automação de Pipelines de Bancos de Dados com Hooks, XComs e Variáveis no Airflow
- Projeto 6 - Variáveis, Conexões e Sensores Para Extração e Movimentação de Dados com Airflow
- Projeto 7 - Deploy de Aplicação de IA Generativa com Airflow, LLM, RAG, ElasticSearch e Grafana