Big Data Analytics com R e Microsoft Azure Machine Learning
Este curso une duas das principais ferramentas usadas por Cientistas de
Dados. R é uma linguagem estatística usada para análise de dados e
atualmente a principal solução de Data Science de gigantes como Oracle,
Microsoft e IBM. O Azure Machine Learning permite criar modelos de
aprendizagem de forma simples e visual, tal como: recomendações, análise
de sentimento, detecção de fraudes, previsões e muito mais. Juntas, as
duas soluções se tornam uma forma poderosa de Big Data Analytics.
Este é um curso de análise de Big Data. Para fazer esta análise e extrair conhecimento e valor dos dados, usaremos duas das principais ferramentas usadas por Cientistas de Dados: Linguagem R e Azure Machine Learning. Na primeira parte do curso, você vai aprender a trabalhar com linguagem R, do básico ao intermediário/avançado. Na sequência você vai estudar os principais conceitos estatísticos e então aplicará seus conhecimento criando modelos de Machine Learning com o Azure.
Pré-requisitos
Não há pré-requisito para
Conhecimento básico de sistema operacional
Conhecimento básico de lógica de programação
Assuntos abordados:
Apresentação
Formação Cientista de Dados
Navegando pela Data Science Academy
Suporte e Canais de Comunicação
Bem-Vindo
A Carreira de Cientista de Dados
Por que Cientistas de Dados usam R?
Por que R e Microsoft Azure Machine Learning?
Qual a importância do Big Data Analytics - Parte 1/3?
Qual a importância do Big Data Analytics - Parte 2/3?
Qual a importância do Big Data Analytics - Parte 3/3?
Preparação de Documentos com R e Latex
Usando R Markdown e Criando seu Portfólio
Usando o Github
Instalando R e RStudio no Windows
Instalando R e RStudio no Mac
Instalando R e RStudio no Linux
Referências e Links Úteis
Cientista de Dados - Checklist
E-book - A História da Linguagem R
Assuntos abordados:
Introdução
Explorando o RStudio
Operadores Aritméticos, Relacionais e Lógicos
Tipos de Dados
Variáveis
Tipos de Objetos
Vetores, Operações com Vetores e Vetores Nomeados
Trabalhando com Matrizes
Listas, Operações com Listas e Listas Nomeadas
Strings
Data Frames e Operações com DataFrames
Estruturas de Controle (for, while, if-else, repeat, next, break)
Resumo
Comandos Úteis
Referências e Links Úteis
Exercícios
Quiz
Assuntos abordados:
Introdução
Big Data na Prática - Importando 8,5 milhões de registros em 7 segundos
Fatores e Fatores Nomeados
Funções
Família de Funções apply (lapply, sapply, tapply, mapply, vapply)
Funções strplit(), unlist() e do.call()
Pacotes e Instalação de Pacotes
Expressões Regulares
Text Mining e Expresões Regulares
Trabalhando com Datas
Gráficos em R
Base Plotting System
Gramática dos Gráficos
Explorando ggplot2
Scatter Plots, Bar Plots, Histogramas
Lattice
Mapas
googleVis
Referências e Links Úteis
Exercícios
Quiz
Assuntos abordados:
Introdução
Big Data na Prática - Mapeando áreas com maior incidência de crimes
Download e Manipulação de Arquivos usando R
Trabalhando com Arquivos txt
Trabalhanco com Arquivos csv
Importando e Analisando Dados de Arquivos do Excel
Instalando o MySQL
Introdução à Linguagem SQL
Importando e Analisando Dados de Bancos de Dados Relacionais
Importando e Manipulando Dados do SQLite com R
Importando e Manipulando Dados do MySQL com R
Importando e Analisando Dados de Bancos de Dados NoSQL
Importando e Manipulando Dados do MongoDB com R
Data Wrangling
Formatando e Limpando os Dados com dplyr
Formatando e Limpando os Dados com tidyr
Folha de Referência dplyr e tidyr
Referências e Links Úteis
Exercícios
Quiz
Assuntos abordados:
Introdução
Big Data na Prática - Análise de Séries Temporais com o Mercado de Ações
Importando Dados de Softwares Estatísticos (SAS, SPSS, STATA)
Web Crawling x Web Scraping
Web Scraping e Análise de Web Sites
Instalando Plug-ins no RStudio
Remodelando os Dados com reshape
Aplicando a Técnica Split-Apply-Combine com plyr
Pacote data.table
Subsetting
Séries Temporais
Análise Reproduzível com RMarkdown e knitr
Otimizando Performance com RProfiler
Projeto 1 - Análise de Redes Sociais
Exercícios
Quiz
Assuntos abordados:
E-book - A importância da Estatística para o Cientista de Dados
Introdução à Estatística
População e Amostra
Observações e Variáveis
Média, Mediana, Desvio Padrão e Variância
Medidas de Posição Relativa
Ferramentas de Análise de Dados
Introdução à Probabilidade
Teorema de Bayes
Distribuição Binomial
Distribuição Poisson
Distribuições Contínuas e Distribuição Normal
Estatística na Prática - Valor Monetário Esperado (VME)
Amostragem
Amostragem Probabilística e Bootstraping
Erros de Amostragem
Teorema do Limite Central
Escore z
Intervalo de Confiança
Testes de Hipótese
Regressão
Correlação
Análise de Regressão
Análise de Variância (ANOVA)
Usando o Modelo de Regressão para Fazer Predições
Exercícios
Quiz
Assuntos abordados:
Introdução ao Aprendizado de Máquina
Definindo Machine Learning
Ética no Aprendizado de Máquina
Machine Learning Frameworks
O Processo de Aprendizagem
Aprendizagem Supervisionada x Aprendizagem Não Supervisionada
Reinforcement Learning
Treinamento, Validação e Teste
O que é um Modelo?
Algoritmos de Machine Learning
Análise Exploratória de Dados
Regressão Linear Simples
Correlação
Coletando, Explorando e Preparando os Dados
Criando um Dataset de Treino
Treinando e Avaliando o Modelo
Classificação Usando Nearest Neighbours - kNN
Medindo Similaridade com Distância
Escolhendo o Valor Apropriado para K
Coletando, Explorando e Preparando os Dados
Criando um Dataset de Treino
Treinando e Avaliando o Modelo
Support Vector Machines
Redes Neurais
Bibliografia e Links Úteis
Projeto 2 - Prevendo a Ocorrência de
Câncer
Projeto 3 - Prevendo Despesas Hospitalares
Quiz
Assuntos abordados:
Introdução ao Microsoft Azure Machine Learning
Azure Machine Learning Studio
Módulos do Azure Machine Learning
Impostando/Exportando Dados no Azure ML
Criando e Avaliando um Modelo de Machine Learning
Documentação e Exemplos
Usando o Pacote Caret para Diferentes Modelos de Machine Learning
Clustering com K-Means
Decision Trees
Quiz
Assuntos abordados:
Executando Scripts R no Azure ML
Editando os Metadados
Tratamento de dados Duplicados e Missing
Transformação e Padronização
Erros e Outliers
SQL no Azure Machine Learning
Usando Joins para Combinar Datasets
Usando o Pacote dplyr para Manipular e Transformar Dados
Instalação de Pacotes R no Azure ML
Pivot de Dados com o Pacote tidyr
Criando Gráficos com ggplot2 no Azure ML
Bonus - Trabalhando com R no Jupyter Notebook
Regressão Logística
Classificação Nave Bayes
Quiz
Assuntos abordados:
Introdução
Business Problem
Limpar, Compreender e Preparar os Dados
Examinando as Correlações
Análise Exploratória de Dados - Time Series Plots
Análise Exploratória de Dados - BoxPlots
Análise Exploratória de Dados - Density Plots
Feature Selection
Redução de Dimensionalidade
Random Forest x Filter Based Feature Selection
Trabalhando o Modelo Preditivo em R
Avaliação do Modelo
Avaliação dos Resíduos
Otimização do Modelo
Storytelling
Quiz
Assuntos abordados:
Introdução
Business Problem
Coleta, Preparação e Transformação dos Dados
Análise Exploratória dos Dados
Pré-Processamento
Balanceamento do Dataset
Feature Selection
Construindo um Modelo - Classificador Bayesiano x Redes Neurais x SVM
Avaliando o Modelo
Criando um Modelo em R com randomForest
Construindo uma Curva ROC e Confusion Matrix em R
Avaliação e Otimização do Modelo
Aplicando o Algoritmo C50
Recomendações sobre Otimização
Quiz
Assuntos abordados:
Publicando seu Modelo Azure Machine Learning como um Serviço Web
Publicando seu Modelo em R
Projeto 4 - Análise de Risco de Crédito
Projeto 5 - Mapeando a Ocorrência do Vírus Zika com Gráficos Interativos
Base de Conhecimentos do Curso
Avaliação
· Instalando e Configurando Oracle R Enterprise
· Instalando e Configurando Microsoft R
