Pipelines de ETL e Machine Learning com Apache Spark
Este curso ensina a trabalhar com dados e Machine Learning na escala das grandes empresas usando Apache Spark. Ao longo de 8 projetos práticos, você constrói pipelines de ETL em cluster, explora dados com Spark SQL, detecta anomalias em transações financeiras, treina e faz deploy de modelos de previsão de churn e desenvolve aplicações preditivas em tempo real com Spark Streaming e TensorFlow. A jornada inclui ainda a integração de LLMs com LangChain e Spark para análise textual em escala, a construção de um Data Lakehouse com Delta Lake e Time Travel e o deploy de modelos com MLflow e Databricks. Você domina o ciclo completo de dados e Machine Learning distribuídos, da preparação à operação em produção.
Online
Imediato
84 h/a
Prazo de Acesso
24 meses
12x no cartão
Descrição do Curso
Este curso fornece uma compreensão prática e aplicada, permitindo aos alunos não apenas aprender os conceitos teóricos, mas também ganhar experiência prática na construção e otimização de pipelines de dados robustos e escaláveis.
Iniciamos com a arte da exploração de dados e operações SQL com Spark SQL, estabelecendo uma base sólida para as atividades subsequentes.
A partir daí, aprofundamos na engenharia de dados, desvendando o desenvolvimento de pipelines ETL robustos, aptos para execução em clusters Spark, e abordando desafios de dados em tempo real através de pipelines de coleta, transformação e análise.
E, como Inteligência Artificial já é uma realidade, o projeto que integra Modelos de Linguagem (LLMs) usando LangChain e Apache Spark, traz a potência da análise textual ao contexto do Spark.
Mas o curso não seria completo sem abordar o lado operacional: o deploy e inferência de modelos de Machine Learning, utilizando a combinação poderosa do MLflow com Databricks. Trazemos ainda a construção de Data Lakehouse com Spark e Delta Lake e a aplicação prática do conceito de Time Travel no processamento de dados em ambientes distribuídos.
Logbook das Principais Atividades Práticas
- Projeto 1 - Pipeline de Exploração de Dados e Operações SQL com Spark SQL
- Projeto 2 - Banco de Dados, Machine Learning e Pipeline ETL em Cluster Spark Para Detectar Anomalias em Transações Financeiras
- Projeto 3 - Pipeline de Machine Learning em Cluster Spark Para Previsão de Churn - Treinamento e Deploy
- Projeto 4 - Pipeline de Pré-Processamento, Validação Cruzada e Otimização em Machine Learning
- Projeto 5 - Otimização de Pipeline ETL e Machine Learning com PySpark
- Projeto 6 - Pipeline de Coleta, Transformação e Modelagem Preditiva em Tempo Real com Spark Streaming e TensorFlow
- Projeto 7 - Data Lakehouse Time Travel com Apache Spark e Delta Lake
- Projeto 8 - Deploy e Inferência de Modelos de Machine Learning com MLflow e Databricks
Ementa do Curso
Pronto(a) para começar sua jornada de aprendizagem profissional?
