Curso Machine Learning com Linguagem Scala

Machine Learning com
Linguagem Scala e Apache Spark

Seja muito bem-vindo à nossa Academia.

MATRICULE-SE JÁ!

Vídeos Interativos

72 horas de Curso

Data de Início

Comece agora

Projeto

Sistema de Recomendação Completo com Scala e Apache Kafka

Bônus

Deep Learning com Linguagem Scala

Imagine que você tenha um grande projeto de Big Data Analytics. Você entende o domínio do problema, você sabe que infraestrutura deve ser usada e já decidiu sobre qual framework construir sua aplicação (Apache Spark, por exemplo). Mas falta tomar uma decisão: Qual linguagem de programação devo escolher? Embora existam muitas opções, quando se fala em Big Data Analytics, sua escolha será, muito provavelmente uma dessas 4 linguagens: R, Python, Scala ou Java. A linguagem Scala pode ser a sua opção caso seu objetivo seja criar aplicações analíticas de alto desempenho, combinando o que há de melhor entre os paradigmas funcional e orientado a objetos, permitindo a criação de aplicações robustas, capazes de lidar com grandes conjuntos de dados e totalmente integrada com os principais frameworks de Big Data.

Scala é uma linguagem de programação admirável e muito profissional. Funciona sobre a JVM (Java Virtual Machine), sendo uma combinação elegante entre os paradigmas funcional e orientado a objetos, e atualmente vem sendo amplamente utilizada no mundo financeiro e em empresas que precisam operar com grandes quantidades de dados, muitas vezes de forma massivamente distribuída. É também a linguagem que impulsiona frameworks de processamento de dados em tempo real como Apache Spark e Apache Kafka.

Como a linguagem Scala é executada na JVM, ela imediatamente obtém acesso ao ecossistema Java, além de ter uma grande variedade de bibliotecas "nativas" para manipulação de dados. A linguagem também inclui um ambiente para desenvolvimento interativo e análise, assim como as linguagens Python e R.

Mas por que deveria escolher a linguagem Scala para meu projeto de Big Data Analytics? Se o seu objetivo é análise de dados com muitos cálculos estatísticos, então linguagem R seria a melhor opção. Se você estiver trabalhando com Processamento de Linguagem Natural ou processamento de Redes Neurais Profundas (Deep Learning) através de GPUs, então Python é uma boa escolha. Mas se o seu objetivo é analisar grandes conjuntos de dados gerados em tempo real, você precisa de uma solução robusta de processamento e análise de streaming e Scala seria sua melhor opção. Um dos principais frameworks para processamento de grandes conjuntos de dados, o Apache Spark, foi desenvolvido em linguagem Scala.

Por que fazer este curso?

Aprender qualquer nova linguagem de programação é um esforço que vale a pena, pois é mais uma ferramenta que vai ajudá-lo a resolver mais problemas. E cada vez mais as empresas precisam de resolvedores de problemas. Big Data e Machine Learning estão transformando o mundo como o conhecemos e aprender a trabalhar com essas tecnologias será um requisito básico na carreira de qualquer profissional.

Este curso possui 15 módulos e está dividido em 3 partes.

Na primeira parte, você vai aprender o básico da linguagem Scala desde o início, passando por todos os conceitos fundamentais, de forma totalmente prática. Você vai aprender fazendo, tudo 100% online e 100% em português.

Na segunda parte do curso, você aprenderá a trabalhar com Machine Learning e como usar a tecnologia para processar Big Data e fazer previsões a partir de dados históricos. Você vai aprender a usar a linguagem Scala com as principais técnicas de Regressão, Classificação, Clustering, Redes Neurais e Processamento de Linguagem Natural.

Na terceira parte do curso, você vai aprender a conectar em bancos de dados relacionais (Oracle) e bancos de dados NoSQL (MongoDB). Vai aplicar técnicas de Big Data Analytics com Apache Spark e linguagem Scala e então vai construir, com a ajuda dos instrutores, um sistema de recomendação completo, com uma aplicação 100% funcional, utilizando dados coletados em tempo real com Apache Kafka, que você poderá usar imediatamente nos seus projetos pessoais e profissionais.

Comece já a sua jornada!
Matricule-se!
1

Conteúdo Programático

1. Introdução

Assuntos abordados:

Bem-vindo

Introdução

O que é Linguagem Scala?

Programação Funcional x Programação Orientada a Objetos

Por que usar Scala com Machine Learning?

Scala e Data Science

Instalando Linguagem Scala no Windows

Instalando Linguagem Scala no MacOS

Instalando Linguagem Scala no Linux Ubuntu

Configurando a IDE

2. Scala Fundamentos 1

Assuntos abordados:

Introdução

Primeiros Passos no Console Scala

Executando Script Scala

Executando Script Scala Usando Argumento

Loop e Condicional

Foreach

Tipos de Dados em Scala

Parametrizando Arrays com Tipos

Usando Listas

Usando Tuplas

Usando Sets

Usando Maps

Estilo Funcional

Manipulação de Arquivos

Quiz

3. Scala Fundamentos 2

Assuntos abordados:

Introdução

Classes, Métodos e Atributos

Companion Object

Semi Inferência

Tipos e Operações

Interpolação de Strings

Operadores são Métodos

Operadores Aritméticos

Operadores Lógicos e Relacionais

Operadores Bitwise

Igualdade, Precedência e Associatividade

Recursividade

Loop For

Break e Continue

Tratamento de Exceções

Expressões Match

Escopo de Variáveis

Quiz

4. Scala Fundamentos 3

Assuntos abordados:

Introdução

Objetos Funcionais

AutoReferência

Construtores Auxiliares

Métodos e Atributos privados

Definindo Operadores

Overloading de Métodos

Conversões Implícitas

Métodos

Funções Locais

Funções First Class

Placeholders

Funções Parcialmente Aplicadas

Closures

Funções Especiais

Packages e Imports

Quiz

5. Introdução ao Machine Learning

Assuntos abordados:

Introdução

Definindo Machine Learning

Apendizagem Supervisionada x Aprendizagem Não Supervisionada

O Que é um Modelo Preditivo?

Treinamento, Validação e Teste

Modelagem

Processo de Aprendizagem

Componentes do Processo de Aprendizagem

Espaço de Hipóteses x Algoritmo de Aprendizagem

Cost Function

Gradiente Descendente

Overfitting x Underfitting

6. Machine Learning - Regressão com Scala e Spark

Assuntos abordados:

Introdução

O Que é Regressão?

Método dos Mínimos Quadrados e Coeficiente de Correlação

Avaliando o Modelo de Regressão

Apache Spark e Machine Learning

Usando Jupyter Notebook com Scala e Spark

Instalação do Apache Spark (Windows, MacOS e Linux Ubuntu)

Testando a Instalação do Spark com Scala

Construindo o Modelo de Regressão

Regressão com Scala e Spark - Design do Modelo

Regressão com Scala e Spark - Importando Módulos e log4j

Regressão com Scala e Spark - Criando Sessão Spark e Importando os Dados

Regressão com Scala e Spark - Criando Dataframe com VectorAssembler

Regressão com Scala e Spark - Construindo e Treinando o Modelo

Regressão com Scala e Spark - Avaliando as Métricas

7. Machine Learning - Classificação com Scala e Spark

Assuntos abordados:

Introdução

O Que é Classificação?

Confusion Matrix e Métricas de Avaliação

Construindo um Modelo de Classificação com Regressão Logística

Regressão Logística - Design do Modelo

Regressão Logística - Carregando o Dataset

Regressão Logística - Data Wrangling

Regressão Logística - Criando um Pipeline

Regressão Logística - Métricas de Avaliação e Confusion Matrix

Mini-Projeto 1 - Prevendo Cliques em Anúncios de Web Sites

Mini-Projeto 2 - Classificador de Texto com Naive Bayes

Treinando o Modelo

Avaliando e Otimizando o Modelo

Apresentando os Resultados

8. Machine Learning - Clustering com Scala, Spark e SQL

Assuntos abordados:

Introdução

O Que é Clusterização?

Agrupamento dos Dados Por Medidas de Similaridade

Como Ocorre o Agrupamento?

Tipos de Clustering - Hierárquico

Tipos de Clustering - Particional

Algoritmo K-Means

Algoritmo K-Means++

Distância Euclidiana

Como Escolher o Valor de K e Método de Elbow

Construindo o Modelo de Clustering - Segmentando Viagens do Uber

Construindo o Modelo de Clustering - Carregando o Dataset

Construindo o Modelo de Clustering - Criando o Modelo com K-Means

Construindo o Modelo de Clustering - Avaliando o Resultado com Linguagem SQL

Construindo o Modelo de Clustering - Salvando o Modelo no Formato Parquet

Exercício - Agrupando Clientes de Uma Rede de Lojas de Varejo

9. Machine Learning - Redes Neurais Artificiais com Linguagem Scala

Assuntos abordados:

Introdução

O que são Redes Neurais Artificiais?

O Neurônio Biológico

O Neurônio Matemático

A Arquitetura de Redes Neurais Artificiais

Processo de Aprendizagem da Rede Neural

Perceptron

Perceptron de Múltiplas Camadas

O Algoritmo Backpropagation

Criando o Projeto Scala na IDE

Álgebra Linear com Pacote Breeze

O Que é o Scala SBT (Simple Build Tool)?

Rede Neural Multilayer Perceptron - Criando o Package para a Rede Neural

Rede Neural Multilayer Perceptron - Inicializando os Pesos

Rede Neural Multilayer Perceptron - Definindo o Forward Pass

Rede Neural Multilayer Perceptron - Definindo o Backward Pass

Compreendendo o Stochastic Gradient Descent

Rede Neural Multilayer Perceptron - Otimização com Stochastic Gradient Descent

Rede Neural Multilayer Perceptron - Treinamento e Otimização do Modelo

Rede Neural Multilayer Perceptron - Avaliação do Modelo

10. Processamento de Linguagem Natural com Linguagem Scala

Assuntos abordados:

Introdução

Por que Aprender Processamento de Linguagem Natural?

Análise Morfológica, Sintática, Semântica e Pragmática

Analisador Sintático

Tokenization, Stopwords, Wordnet, Collocation, Stemming e Corpus

Bag of Words

Word2Vec

E-book - Como Funciona o Word2Vec?

Criando um Modelo Word2Vec Baseado no Algoritmo Original do Google

Construindo um Modelo Word2Vec com Scala e Spark

11. Conexão a Banco de Dados com Scala

Assuntos abordados:

Introdução

Download do Oracle Express Edition

Instalação do Oracle Express Edition

Instalação do Oracle SQL Developer

Importação de Tabelas no Oracle

Linguagem SQL

Exploração Inicial usando SQL

Conexão via JDBC

Conectando o Scala ao Oracle

Execução de comandos DDL e DML

Execução de Comandos DQL (Select)

Leitura de dados utilizando Spark

Entrega dos Dados a um Algoritmo de Machine Learning

Download do MongoDB

Instalação do MongoDB

Inicialização do serviço do MongoDB

Inserindo documentos no MongoDB

Manipulação de documentos no MongoDB

12. Big Data Analytics com Apache Spark com Scala

Assuntos abordados:

Introdução

Apache Spark e Big Data

Ecosistema Spark

Spark Framework

Quando Usamos o Apache Spark?

MapReduce x Spark

Tipos de Dados Complexos - Arrays, Maps e Structs

Arquitetura do Apache Spark

Modos de Execução do Spark

RDDs - Resilient Distributed Datasets e Dataframes

Operações no Spark - Transformações

Operações no Spark - Ações

Trabalhando com Scala e Apache Spark

Criando Projeto SBT com Spark e Scala

Adicionando as Dependências do Spark no Projeto Scala SBT

Testando a Configuração do Ambiente Spark/Scala na IDE

Criando um Arquivo de Utilitários Para o Apache Spark

Trabalhando com Spark SQL em Scala - RDDs, Dataframes, Arquivos JSON e Listas

Trabalhando com Spark SQL em Scala - Carregando Arquivos CSV e Usando Structs

Regressão Linear - Prevendo Autonomia de Combustível em Veículos - Análise de Correlação

Regressão Linear - Prevendo Autonomia de Combustível em Veículos - Construção do Modelo

Resolvendo Warning BLAS com Netlib

Clusterização - Segmentação de Veículos Para Transportadoras

Classificação com Árvores de Decisão - Prevendo Tipos de Plantas

Mini-Projeto 2 - Construindo um Classificador de Texto com Naive Bayes

Mini-Projeto 3 - Prevendo Crédito ao Consumidor com Random Forest e Redução de Dimensionalidade com PCA

13. Projeto - Construindo Um Sistema de Recomendação com Scala e Kafka

Assuntos abordados:

Introdução

O Que é um Sistema de Recomendação?

Planejando a Infarestrutura

Instalando o Servidor de Streaming

Configurando o Sistema Operacional

Instalando e Configurando o Java - JDK

Instalando e Configurando o Apache Spark

Instalando e Configurando o Banco de Dados NoSQL - MongoDB

Instalando e Configurando o Apache Kafka e o Zookeeper

Instalando e Configurando o SBT

Instalando e Configurando a IDE IntellijIDEA

Tipos de Sistemas de Recomendação

Sistema de Recomendação Baseado no Item Mais Popular

Associação e Modelos Market Basket

Filtros Colaborativos

Filtragem de Conteúdo

Modelos Híbridos

Iniciando o Desenvolvimento

Definindo o Problema e Analisando o Dataset

Criando o Projeto

Análise Exploratória de Dados com Scala

Configurando o build.sbt

Definindo o Pipeline de Streaming

Processando Streaming de Dados em Tempo Real

Persistindo os Dados

Executando a Aplicação

Conclusão

Bibliografia, Referências e Links Úteis

14. Avaliação Final e Certificado de Conclusão

Avaliação Final e Certificado de Conclusão

15. Bonus - Deep Learning

O Que é Aprendizagem Profunda?

Principais Tipos de Redes Neurais Profundas

O Que São Redes Neurais Convolucionais?

Participe

Como Funciona

Política de Privacidade

Termos de Uso

Formas de Pagamento

Perguntas Frequentes

Metodologia de Ensino

Contate-nos

Formação Cientista de Dados - FCD

Formação Inteligência Artificial - FIA

Formação Engenheiro de Dados - FED

Formação Análise Estatística - FAECD

Formação Engenheiro Blockchain - FEB

Formação Java para DS e IA - FJava

Quem Somos

Sobre Nós
Instrutor DSA
Todos os Cursos
Blog
Podcast DSA
Deep Learning Book

App's

Iphone e Ipad

Android

Seu País?

Qual tamanho da Sua Empresa

Your Profession?

Eu aceito os Termos e Condições

I would like to receive news, tips and tricks, and other promotional material

Esqueceu ou Deseja Trocar sua Senha?

Machine Learning com
Linguagem Scala e Apache Spark

Seja muito bem-vindo à nossa Academia.

Vídeos Interativos

72 horas de Curso

Data de Início

Comece agora

Projeto

Sistema de Recomendação Completo com Scala e Apache Kafka

Bônus

Deep Learning com Linguagem Scala

Machine Learning com Linguagem Scala
e Apache Spark

Comece já a sua jornada!
Matricule-se!
1

Pré-requisitos Desejáveis

Conteúdo Programático

Quer aprenda a criar Modelos Preditivos com Linguagem Scala?

Participe

Como Funciona

Quem Somos

App's

Click "Edit Contents" and start uploading your learning material.

Select a course first to display its contents.

No available contents for

Registro y Pago

Registro

Producto

There are no free, paid or coming soon courses in your school yet.
Why don't you create one?

Oops, your school's owner is working hard preparing the courses for you.

Oops, you haven't created any courses yet.

No blog posts found in your blog. Why don't you create one?

Machine Learning com Linguagem Scala e Apache Spark

Seja muito bem-vindo à nossa Academia.

Vídeos Interativos

72 horas de Curso

Data de Início

Comece agora

Projeto

Sistema de Recomendação Completo com Scala e Apache Kafka

Bônus

Deep Learning com Linguagem Scala

Machine Learning com Linguagem Scala e Apache Spark

Comece já a sua jornada!Matricule-se!1

Pré-requisitos Desejáveis

Conteúdo Programático

Quer aprenda a criar Modelos Preditivos com Linguagem Scala?

Participe

Como Funciona

Quem Somos

App's

Click "Edit Contents" and start uploading your learning material.

Select a course first to display its contents.

No available contents for

Registro y Pago

Registro

Producto

There are no free, paid or coming soon courses in your school yet.Why don't you create one?

Oops, your school's owner is working hard preparing the courses for you.

Oops, you haven't created any courses yet.

No blog posts found in your blog. Why don't you create one?

Machine Learning com
Linguagem Scala e Apache Spark

Machine Learning com Linguagem Scala
e Apache Spark

Comece já a sua jornada!
Matricule-se!
1

There are no free, paid or coming soon courses in your school yet.
Why don't you create one?