Início Contato Blog  Pagamento
Todos os CursosTodos os CursosTodos os CursosEntrar
Sobre NósDepoimentosMetodologia TTer   FAQ Clientes App's ppspp    esesteppspp    

Machine Learning com 
Linguagem Scala e Apache Spark
 

 
 

Seja muito bem-vindo à nossa Academia.


 
MATRICULE-SE JÁ!

Vídeos Interativos

72 horas de Curso

Data de Início

Comece agora

Projeto

Sistema de Recomendação Completo com Scala e Apache Kafka

Bônus

Deep Learning com Linguagem Scala


Machine Learning com Linguagem Scala
e Apache Spark

 Construindo soluções rápidas, robustas e escaláveis.

Imagine que você tenha um grande projeto de Big Data Analytics. Você entende o domínio do problema, você sabe que infraestrutura deve ser usada e já decidiu sobre qual framework construir sua aplicação (Apache Spark, por exemplo). Mas falta tomar uma decisão: Qual linguagem de programação devo escolher? Embora existam muitas opções, quando se fala em Big Data Analytics, sua escolha será, muito provavelmente uma dessas 4 linguagens: R, Python, Scala ou Java. A linguagem Scala pode ser a sua opção caso seu objetivo seja criar aplicações analíticas de alto desempenho, combinando o que há de melhor entre os paradigmas funcional e orientado a objetos, permitindo a criação de aplicações robustas, capazes de lidar com grandes conjuntos de dados e totalmente integrada com os principais frameworks de Big Data.


Scala é uma linguagem de programação admirável e muito profissional. Funciona sobre a JVM (Java Virtual Machine), sendo uma combinação elegante entre os paradigmas funcional e orientado a objetos, e atualmente vem sendo amplamente utilizada no mundo financeiro e em empresas que precisam operar com grandes quantidades de dados, muitas vezes de forma massivamente distribuída. É também a linguagem que impulsiona frameworks de processamento de dados em tempo real como Apache Spark e Apache Kafka.

Como a linguagem Scala é executada na JVM, ela imediatamente obtém acesso ao ecossistema Java, além de ter uma grande variedade de bibliotecas "nativas" para manipulação de dados. A linguagem também inclui um ambiente para desenvolvimento interativo e análise, assim como as linguagens Python e R.

Mas por que deveria escolher a linguagem Scala para meu projeto de Big Data Analytics? Se o seu objetivo é análise de dados com muitos cálculos estatísticos, então linguagem R seria a melhor opção. Se você estiver trabalhando com Processamento de Linguagem Natural ou processamento de Redes Neurais Profundas (Deep Learning) através de GPUs, então Python é uma boa escolha. Mas se o seu objetivo é analisar grandes conjuntos de dados gerados em tempo real, você precisa de uma solução robusta de processamento e análise de streaming e Scala seria sua melhor opção. Um dos principais frameworks para processamento de grandes conjuntos de dados, o Apache Spark, foi desenvolvido em linguagem Scala.



Por que fazer este curso?

Aprender qualquer nova linguagem de programação é um esforço que vale a pena, pois é mais uma ferramenta que vai ajudá-lo a resolver mais problemas. E cada vez mais as empresas precisam de resolvedores de problemas. Big Data e Machine Learning estão transformando o mundo como o conhecemos e aprender a trabalhar com essas tecnologias será um requisito básico na carreira de qualquer profissional.

Este curso possui 15 módulos e está dividido em 3 partes.

Na primeira parte, você vai aprender o básico da linguagem Scala desde o início, passando por todos os conceitos fundamentais, de forma totalmente prática. Você vai aprender fazendo, tudo 100% online e 100% em português.

Na segunda parte do curso, você aprenderá a trabalhar com Machine Learning e como usar a tecnologia para processar Big Data e fazer previsões a partir de dados históricos. Você vai aprender a usar a linguagem Scala com as principais técnicas de Regressão, Classificação, Clustering, Redes Neurais e Processamento de Linguagem Natural.

Na terceira parte do curso, você vai aprender a conectar em bancos de dados relacionais (Oracle) e bancos de dados NoSQL (MongoDB). Vai aplicar técnicas de Big Data Analytics com Apache Spark e linguagem Scala e então vai construir, com a ajuda dos instrutores, um sistema de recomendação completo, com uma aplicação 100% funcional, utilizando dados coletados em tempo real com Apache Kafka, que você poderá usar imediatamente nos seus projetos pessoais e profissionais.

Comece já a sua jornada!
Matricule-se!
1

3

Pré-requisitos Desejáveis


Não há pré-requisito para realizar este curso, mas alguns conhecimentos são desejáveis:

5
6

    Conhecimento básico de Sistema Operacional 


 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

             Noções de lógica de programação 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Conteúdo Programático

1. Introdução

Assuntos abordados:

Bem-vindo
Introdução
O que é Linguagem Scala?
Programação Funcional x Programação Orientada a Objetos
Por que usar Scala com Machine Learning?
Scala e Data Science
Instalando Linguagem Scala no Windows
Instalando Linguagem Scala no MacOS
Instalando Linguagem Scala no Linux Ubuntu
Configurando a IDE

2. Scala Fundamentos 1

Assuntos abordados:

Introdução
Primeiros Passos no Console Scala
Executando Script Scala
Executando Script Scala Usando Argumento
Loop e Condicional
Foreach
Tipos de Dados em Scala
Parametrizando Arrays com Tipos
Usando Listas
Usando Tuplas
Usando Sets
Usando Maps
Estilo Funcional
Manipulação de Arquivos
Quiz

3. Scala Fundamentos 2

Assuntos abordados:

Introdução

Classes, Métodos e Atributos

Companion Object

Semi Inferência

Tipos e Operações

Interpolação de Strings

Operadores são Métodos

Operadores Aritméticos

Operadores Lógicos e Relacionais

Operadores Bitwise

Igualdade, Precedência e Associatividade

Recursividade

Loop For

Break e Continue

Tratamento de Exceções

Expressões Match

Escopo de Variáveis

Quiz

4. Scala Fundamentos 3

Assuntos abordados:

Introdução
Objetos Funcionais
AutoReferência
Construtores Auxiliares
Métodos e Atributos privados
Definindo Operadores
Overloading de Métodos
Conversões Implícitas
Métodos
Funções Locais
Funções First Class
Placeholders
Funções Parcialmente Aplicadas 
Closures
Funções Especiais
Packages e Imports
Quiz

5. Introdução ao Machine Learning

Assuntos abordados:

Introdução

Definindo Machine Learning

Apendizagem Supervisionada x Aprendizagem Não Supervisionada

O Que é um Modelo Preditivo?

Treinamento, Validação e Teste

Modelagem

Processo de Aprendizagem

Componentes do Processo de Aprendizagem

Espaço de Hipóteses x Algoritmo de Aprendizagem

Cost Function

Gradiente Descendente

Overfitting x Underfitting

6. Machine Learning - Regressão com Scala e Spark

Assuntos abordados:

Introdução

O Que é Regressão?

Método dos Mínimos Quadrados e Coeficiente de Correlação

Avaliando o Modelo de Regressão

Apache Spark e Machine Learning

Usando Jupyter Notebook com Scala e Spark

Instalação do Apache Spark (Windows, MacOS e Linux Ubuntu)

Testando a Instalação do Spark com Scala

Construindo o Modelo de Regressão

Regressão com Scala e Spark - Design do Modelo

Regressão com Scala e Spark - Importando Módulos e log4j

Regressão com Scala e Spark - Criando Sessão Spark e Importando os Dados

Regressão com Scala e Spark - Criando Dataframe com VectorAssembler

Regressão com Scala e Spark - Construindo e Treinando o Modelo

Regressão com Scala e Spark - Avaliando as Métricas

7. Machine Learning - Classificação com Scala e Spark

Assuntos abordados:

Introdução

O Que é Classificação?

Confusion Matrix e Métricas de Avaliação 

Construindo um Modelo de Classificação com Regressão Logística

Regressão Logística - Design do Modelo

Regressão Logística - Carregando o Dataset

Regressão Logística - Data Wrangling

Regressão Logística - Criando um Pipeline

Regressão Logística - Métricas de Avaliação e Confusion Matrix

Mini-Projeto 1 - Prevendo Cliques em Anúncios de Web Sites

Mini-Projeto 2 - Classificador de Texto com Naive Bayes

Treinando o Modelo

Avaliando e Otimizando o Modelo

Apresentando os Resultados

8. Machine Learning - Clustering com Scala, Spark e SQL

Assuntos abordados:

Introdução

O Que é Clusterização?

Agrupamento dos Dados Por Medidas de Similaridade

Como Ocorre o Agrupamento?

Tipos de Clustering - Hierárquico

Tipos de Clustering - Particional

Algoritmo K-Means

Algoritmo K-Means++

Distância Euclidiana

Como Escolher o Valor de K e Método de Elbow

Construindo o Modelo de Clustering - Segmentando Viagens do Uber

Construindo o Modelo de Clustering - Carregando o Dataset

Construindo o Modelo de Clustering - Criando o Modelo com K-Means

Construindo o Modelo de Clustering - Avaliando o Resultado com Linguagem SQL

Construindo o Modelo de Clustering - Salvando o Modelo no Formato Parquet

Exercício - Agrupando Clientes de Uma Rede de Lojas de Varejo

9. Machine Learning - Redes Neurais Artificiais com Linguagem Scala

Assuntos abordados:

Introdução

O que são Redes Neurais Artificiais?

O Neurônio Biológico

O Neurônio Matemático

A Arquitetura de Redes Neurais Artificiais

Processo de Aprendizagem da Rede Neural

Perceptron

Perceptron de Múltiplas Camadas 

O Algoritmo Backpropagation

Criando o Projeto Scala na IDE

Álgebra Linear com Pacote Breeze

O Que é o Scala SBT (Simple Build Tool)?

Rede Neural Multilayer Perceptron - Criando o Package para a Rede Neural

Rede Neural Multilayer Perceptron - Inicializando os Pesos

Rede Neural Multilayer Perceptron - Definindo o Forward Pass

Rede Neural Multilayer Perceptron - Definindo o Backward Pass

Compreendendo o Stochastic Gradient Descent

Rede Neural Multilayer Perceptron - Otimização com Stochastic Gradient Descent

Rede Neural Multilayer Perceptron - Treinamento e Otimização do Modelo

Rede Neural Multilayer Perceptron - Avaliação do Modelo

10. Processamento de Linguagem Natural com Linguagem Scala

Assuntos abordados:

Introdução

Por que Aprender Processamento de Linguagem Natural?

Análise Morfológica, Sintática, Semântica e Pragmática

Analisador Sintático

Tokenization, Stopwords, Wordnet, Collocation, Stemming e Corpus

Bag of Words

Word2Vec

E-book - Como Funciona o Word2Vec?

Criando um Modelo Word2Vec Baseado no Algoritmo Original do Google

Construindo um Modelo Word2Vec com Scala e Spark

11. Conexão a Banco de Dados com Scala

Assuntos abordados:

Introdução

Download do Oracle Express Edition

Instalação do Oracle Express Edition

Instalação do Oracle SQL Developer

Importação de Tabelas no Oracle

Linguagem SQL

Exploração Inicial usando SQL

Conexão via JDBC

Conectando o Scala ao Oracle

Execução de comandos DDL e DML

Execução de Comandos DQL (Select)

Leitura de dados utilizando Spark

Entrega dos Dados a um Algoritmo de Machine Learning

Download do MongoDB

Instalação do MongoDB

Inicialização do serviço do MongoDB

Inserindo documentos no MongoDB

Manipulação de documentos no MongoDB

12. Big Data Analytics com Apache Spark com Scala

Assuntos abordados:

Introdução

Apache Spark e Big Data

Ecosistema Spark

Spark Framework

Quando Usamos o Apache Spark?

MapReduce x Spark

Tipos de Dados Complexos - Arrays, Maps e Structs

Arquitetura do Apache Spark 

Modos de Execução do Spark

RDDs - Resilient Distributed Datasets e Dataframes

Operações no Spark - Transformações

Operações no Spark - Ações

Trabalhando com Scala e Apache Spark

Criando Projeto SBT com Spark e Scala

Adicionando as Dependências do Spark no Projeto Scala SBT

Testando a Configuração do Ambiente Spark/Scala na IDE

Criando um Arquivo de Utilitários Para o Apache Spark

Trabalhando com Spark SQL em Scala - RDDs, Dataframes, Arquivos JSON e Listas

Trabalhando com Spark SQL em Scala - Carregando Arquivos CSV e Usando Structs

Regressão Linear - Prevendo Autonomia de Combustível em Veículos - Análise de Correlação

Regressão Linear - Prevendo Autonomia de Combustível em Veículos - Construção do Modelo

Resolvendo Warning BLAS com Netlib

Clusterização - Segmentação de Veículos Para Transportadoras

Classificação com Árvores de Decisão - Prevendo Tipos de Plantas

Mini-Projeto 2 - Construindo um Classificador de Texto com Naive Bayes

Mini-Projeto 3 - Prevendo Crédito ao Consumidor com Random Forest e Redução de Dimensionalidade com PCA

13. Projeto - Construindo Um Sistema de Recomendação com Scala e Kafka

Assuntos abordados:

Introdução

O Que é um Sistema de Recomendação?

Planejando a Infarestrutura

Instalando o Servidor de Streaming

Configurando o Sistema Operacional

Instalando e Configurando o Java - JDK

Instalando e Configurando o Apache Spark

Instalando e Configurando o Banco de Dados NoSQL - MongoDB

Instalando e Configurando o Apache Kafka e o Zookeeper

Instalando e Configurando o SBT

Instalando e Configurando a IDE IntellijIDEA

Tipos de Sistemas de Recomendação

Sistema de Recomendação Baseado no Item Mais Popular

Associação e Modelos Market Basket 

Filtros Colaborativos

Filtragem de Conteúdo

Modelos Híbridos

Iniciando o Desenvolvimento

Definindo o Problema e Analisando o Dataset

Criando o Projeto

Análise Exploratória de Dados com Scala

Configurando o build.sbt

Definindo o Pipeline de Streaming

Processando Streaming de Dados em Tempo Real

Persistindo os Dados

Executando a Aplicação

Conclusão

Bibliografia, Referências e Links Úteis

14. Avaliação Final e Certificado de Conclusão

Avaliação Final e Certificado de Conclusão

15. Bonus - Deep Learning

O Que é Aprendizagem Profunda?

Principais Tipos de Redes Neurais Profundas

O Que São Redes Neurais Convolucionais?

Quer aprenda a criar Modelos Preditivos com Linguagem Scala?

 
Clique aqui
 
 
 
 
 
2
 
 
 
 
 

Quem Somos

Sobre Nós

Instrutor DSA

Todos os Cursos

Blog


Como Funciona

  • Política de Privacidade
  • Termos de Uso
  • Formas de Pagamento
  • Perguntas Frequentes
  • Metodologia de Ensino
  • Contate-nos

  • Formação Cientista de Dados
  • Formação Inteligência Artificial
    Formação Engenheiro de Dados
    Formação Java para Data              Science e I.A.

Participe

  • Facebook
  • Twitter
  • Google +
  • Linkedin
  • Tumblr
  • Pinterest
  • Instagram
  • Youtube
  • Github

App

  • Iphone & Ipad
  • Android
  •  

Copyright © 2018 Data Science Academy. Todos os Direitos Reservados.
2
  • Multimedia
  • Questionnaires
  • Certificates
  • Embed
Multimedia
  • Video
  • Ebook
  • Pdf
  • Youtube
  • SoundCloud
  • Audio
Questionnaires
  • Quiz
  • Exam
  • Assignment
Certificates
  • Certificate
  • Certificate of completion
Embed
  • Embed
  • Slideshare
  • External link
Select the type of content for your learning unit.
Crie sua conta na !
Click para carregar o avatar
Eu aceito os  Termos e Condições
Inicie sua Jornada de Aprendizagem
Entrar Esqueceu ou Deseja Trocar sua Senha?
Escolha uma nova senha!
Ok
Cancelar
Faça seu Login, ou Crie uma nova conta para iniciar sua aprendizagem
Iniciar aprendizagem
Male
Female

Entrar com Facebook

Entrar com Twitter

Entrar com Linkedin

ou
Clique Aqui para Fazer o Login.
Criar  ContatoUma Nova Conta Gratuita Esqueceu ou Deseja Trocar sua Senha?
Entre com sua nova senha!
Ok
Cancelar

Registro y Pago

1
Registro
2
Producto
Product info
 
$ 60
Tem um Cupom?
Sim, eu tenho!
Invoice details
Eu aceito os Termos e Condições
CONFIRMAR
Cursos
  • Todos
  • Meu
  • Mais novo
  • Popular
  • Categorias

There are no free, paid or coming soon courses in your school yet.
Why don't you create one?

Oops, your school's owner is working hard preparing the courses for you.

Oops, you haven't created any courses yet.

Wouldn't it be a good idea to create a course?