Armazenamento e Gestão de Dados com Data Lake e Data Lakehouse

Este curso ensina a projetar, implementar e gerenciar as arquiteturas de armazenamento que sustentam empresas orientadas a dados: Data Lakes e Data Lakehouses. Ao longo do curso, você constrói soluções locais e na nuvem com Terraform, Databricks, Delta Lake e Delta Live Tables, integrando dados batch e streaming e desenvolvendo até um RAG Pipeline para IA Generativa no Databricks. O grande diferencial está na camada de gestão, com foco em linhagem, qualidade, observabilidade, catálogo e governança de dados, para garantir que os dados estejam otimizados, seguros e prontos para análise. Você aprende a armazenar dados do jeito que o mercado exige.

Formato

Online

Data de Início

Imediato

Carga Horária

86 h/a

Prazo de Acesso

24 meses

Parcelado

12x no cartão

Pré-Requisito (Opcional):
Recomendamos ter concluído o Curso de IaC com Terraform aqui na DSA.

Descrição do Curso

Em um mundo dominado por dados, a capacidade de coletar, armazenar, processar e analisar grandes volumes de informação tornou-se um diferencial competitivo fundamental para empresas de todos os tamanhos.

Este curso surge como uma resposta a esta demanda, conduzindo os alunos por uma jornada imersiva através dos fundamentos e práticas avançadas de Data Lakes e Data Lakehouses.

Através de uma abordagem que alia teoria e prática na medida certa, os alunos vão desenvolver habilidades desde os conceitos essenciais até implementações específicas em ambientes locais e na nuvem.

O curso enfatiza a importância de conceitos como linhagem, observabilidade, qualidade, enriquecimento, catálogo e governança de dados, fornecendo aos alunos as habilidades necessárias para garantir que as informações sejam não apenas armazenadas, mas também otimizadas, seguras e prontas para análise.

Além disso, a crescente convergência entre Data Lakes e Data Warehouses é abordada de forma detalhada, permitindo aos alunos compreender e implementar soluções de Data Lakehouse, que combinam o melhor dos dois mundos para obter eficiência, escalabilidade e flexibilidade.

Logbook das Principais Atividades Práticas

  • Lab 1 - Plano de Custo Para Implementar Data Lakes e Data Lakehouses em Diferentes Cenários
  • Lab 2 - Design e Implementação de Data Lake Local Para Armazenamento e Processamento Distribuído
  • Lab 3 - Design e Implementação de Data Lake na Nuvem com IaC e Terraform
  • Lab 4 - Linhagem, Observabilidade, Qualidade, Enriquecimento e Governança de Dados no Data Lake
  • Lab 5 - Trabalhando com Databricks Para Construção de Catálogo Unificado de Dados
  • Lab 6 - Operações CRUD e Time Travel com Delta Lake
  • Lab 7 - Delta Live Tables SQL Pipeline e Integração de Dados Batch e Streaming
  • Lab 8 - RAG Pipeline Para IA Generativa no Databricks (com Acesso Pelo Google Colab)
  • Projeto Final - Consolidação, Limpeza e Enriquecimento de Dados de Diferentes Formatos no Data Lakehouse

Ementa do Curso

Pronto(a) para começar sua jornada de aprendizagem profissional?