Pipelines de ETL e Machine Learning com Apache Spark
Domine a criação e implementação de Pipelines de ETL e Machine Learning com Apache Spark e eleve suas habilidades em dados para o próximo nível!
Formato
Online
Data de Início
Imediato
Carga Horária
84 h/a
Prazo de Acesso
24 meses
Parcelado
12x no cartão
Pré-requisitos
Descrição do Curso
Este curso fornece uma compreensão prática e aplicada, permitindo aos alunos não apenas aprender os conceitos teóricos, mas também ganhar experiência prática na construção e otimização de pipelines de dados robustos e escaláveis.
Iniciamos com a arte da exploração de dados e operações SQL com Spark SQL, estabelecendo uma base sólida para as atividades subsequentes.
A partir daí, aprofundamos na engenharia de dados, desvendando o desenvolvimento de pipelines ETL robustos, aptos para execução em clusters Spark, e abordando desafios de dados em tempo real através de pipelines de coleta, transformação e análise.
E, como Inteligência Artificial já é uma realidade, o projeto que integra Modelos de Linguagem (LLMs) usando LangChain e Apache Spark, traz a potência da análise textual ao contexto do Spark.
Mas o curso não seria completo sem abordar o lado operacional: o deploy e versionamento de modelos de Machine Learning, utilizando a combinação poderosa do Spark com Databricks. Trazemos, também, uma perspectiva multi-linguagem, com a otimização de aplicações Spark nas linguagens Python, Scala e R.
Concluímos nossa jornada introduzindo uma visão inovadora e atual da gestão de dados: a construção de um Data Lakehouse Low-Code utilizando Apache Spark e Delta Lake.
Logbook das Principais Atividades Práticas
- Projeto 1 - Pipeline de Exploração de Dados e Operações SQL com Spark SQL
- Projeto 2 - Banco de Dados, Machine Learning e Pipeline ETL em Cluster Spark Para Detectar Anomalias em Transações Financeiras
- Projeto 3 - Pipeline de Machine Learning em Cluster Spark Para Previsão de Churn - Treinamento e Deploy
- Projeto 4 - Pipeline de Pré-Processamento, Validação Cruzada e Otimização em Machine Learning
- Projeto 5 - Otimização de Pipeline ETL e Machine Learning com PySpark
- Projeto 6 - Pipeline de Coleta, Transformação e Análise de Dados em Tempo Real
- Projeto 7 - Deploy e Versionamento de Modelos de Machine Learning com Spark e Databricks
- Projeto 8 - Low-Code Data Lakehouse com Apache Spark e Delta Lake