Engenharia de Dados com Airbyte, dbt e SQL

Este curso ensina a stack que define a Engenharia de Dados moderna: Airbyte para extração e carga, SQL avançado para transformação e dbt para pipelines confiáveis, testáveis e prontos para produção. Ao longo de 10 Labs práticos, você constrói pipelines EL(T) com Change Data Capture, sincronização incremental, otimização de consultas, modelagem de dados para sistemas de IA, deploy em produção, macros e automação de testes no dbt. O projeto final consolida tudo em um cenário completo de DataOps com Airbyte, dbt, SQL e Snowflake, preparando você para construir pipelines robustos de nível corporativo.

Formato

Online

Data de Início

Imediato

Carga Horária

96 h/a

Prazo de Acesso

24 meses

Parcelado

12x no cartão

Pré-Requisito (Opcional):
Recomendamos ter concluído o Curso Modelagem, Implementação e Governança de Data Warehouses aqui na DSA.

Descrição do Curso

No cenário atual, a capacidade de extrair, processar e analisar grandes volumes de dados tornou-se uma habilidade essencial para as empresas.


E a Engenharia de Dados, uma disciplina em rápida evolução, situa-se no coração dessa transformação, permitindo que as empresas obtenham insights valiosos de suas informações. Este curso oferece uma abordagem prática e detalhada sobre algumas das principais ferramentas e técnicas utilizadas por Engenheiros de Dados na atualidade.

Iniciando com uma sólida base sobre as tarefas fundamentais de extração, transformação e limpeza, os alunos serão introduzidos ao Airbyte, uma ferramenta poderosa para extração e carga de dados. Através de módulos dedicados, os alunos aprenderão não apenas a extrair dados de diversas fontes, mas também a carregá-los eficientemente em destinos variados.

Na sequência, o curso aprofunda-se no SQL avançado, permitindo que os alunos dominem técnicas sofisticadas de transformação e análise de dados, essenciais para qualquer projeto de engenharia de dados.

O dbt (Data Build Tool), uma ferramenta revolucionária no mundo da engenharia de dados, é outro pilar central deste curso. Com ênfase na entrega de dados consistentes, confiáveis e de alta qualidade, os módulos relacionados ao dbt fornecerão os alunos as habilidades necessárias para construir pipelines de dados robustos e automatizados.

O curso será então concluído com um projeto integrado, onde os alunos aplicarão seus conhecimentos em Airbyte, dbt e SQL, consolidando sua aprendizagem e preparando-os para enfrentar desafios reais de engenharia de dados no mundo corporativo.

Logbook das Principais Atividades Práticas

  • Lab 1 - Movimentação de Dados Entre Bancos de Dados com Airbyte
  • Lab 2 - Construindo Pipeline EL(T) com Change Data Capture (CDC)
  • Lab 3 - Carga e Sincronização Incremental de Dados com Airbyte
  • Lab 4 - Plano de Execução e Otimização de Consultas em Pipelines de Engenharia de Dados
  • Lab 5 - Modelagem de Dados Para Engenharia de Dados em Sistemas de IA
  • Lab 6 - Deploy e Re-Deploy do Primeiro Modelo com DBT
  • Lab 7 - Criação de Macros, Refatoramento e Deploy em Produção com dbt
  • Lab 8 - Automação de Testes de Modelos de Dados no DBT
  • Lab 9 - Analytics Engineering e Linhagem de Dados com Python, dbt, BigQuery e Looker Studio
  • Lab 10 - Projeto Final - DataOps Para Automação de Staging e Data Warehousing com Airbyte, dbt, SQL e Snowflake

Ementa do Curso

Pronto(a) para começar sua jornada de aprendizagem profissional?