Carros autônomos, robôs realistas e drones de entrega autônomos são a face sexy da transformação digital que vemos ao nosso redor hoje.
Nada disso seria possível, porém, sem dados - o petróleo da quarta revolução industrial - e a tecnologia analítica que construímos para nos permitir interpretá-los e entendê-los.
Big Data Analytics é um termo que passou a ser usado para descrever a tecnologia e a prática de trabalhar com dados que não são apenas grandes em volume, mas também gerados em alta velocidade e vêm em muitas formas diferentes. Para cada Elon Musk com um carro autônomo para vender ou Jeff Bezos com uma loja de conveniência sem caixa, há uma operação sofisticada de Big Data e um exército de que transformaram uma visão em realidade.
O termo Big Data em si pode não ser tão onipresente como era há alguns anos, e isso simplesmente porque muitos dos conceitos que ele significa foram totalmente incorporados ao mundo ao nosso redor. Mas só porque ouvimos sobre isso há algum tempo, não significa que seja notícia velha. O fato é que, mesmo hoje, a maioria das organizações luta para obter valor de muitos dos dados aos quais têm acesso. Como prática de negócios, ainda está em sua infância.
Então, aqui está uma lista de algumas das principais tendências que influenciarão como os dados e análises serão usados para trabalho, lazer e tudo mais, este ano e no futuro próximo.
1- AIOps e Automação Cada Vez Mais Sofisticada
A Inteligência Artificial (IA) tem sido um elemento transformador para análises. Com a enorme quantidade de dados estruturados e não estruturados gerados por empresas e seus clientes, mesmo as formas automatizadas de análise podem apenas arranhar a superfície do que pode ser encontrado.
A maneira mais simples de pensar em IA, como é usada hoje, são máquinas - computadores e software - que são capazes de aprender por si mesmas. Para obter um exemplo simples, vejamos um problema que podemos usar um computador para resolver hoje. Qual de nossos clientes é o mais valioso para nós?
Se tivermos apenas a computação tradicional, sem aprendizagem, disponível, poderemos tentar criar um banco de dados que nos mostre quais clientes gastam mais dinheiro. Mas e se um novo cliente aparecer e gastar R$1000 em sua primeira transação conosco? Ele é mais valioso do que um cliente que gastou R$100 por mês no ano passado? Para entender isso, precisamos de muito mais dados, como o valor médio de vida do cliente, e talvez dados pessoais sobre o próprio cliente, como sua idade, hábitos de consumo ou nível de renda, também seriam úteis!
Interpretar, compreender e obter insights de todos esses conjuntos de dados é uma tarefa muito mais complicada. A IA é útil aqui porque pode tentar interpretar todos os dados juntos e fazer previsões sobre o valor potencial da vida útil de um cliente com base em tudo o que sabemos - quer entendamos ou não as conexões. Um elemento importante disso é que um modelo de IA não necessariamente apresenta respostas "certas" ou "erradas" - ele fornece uma gama de probabilidades e, em seguida, refina seus resultados dependendo de quão precisas essas previsões se revelem.
E usamos AIOps (Operações de IA) para fazer isso acontecer. Dá para perceber que essa é uma tendência quente à medida que as empresas percebem o poder dos dados que têm em mãos.
2- Novas Maneiras de Explorar e Interpretar Dados
A visualização de dados é a "trilha final" do processo analítico antes de agirmos com base em nossas descobertas. Tradicionalmente, a comunicação entre máquinas e humanos é realizada por visualização, na forma de gráficos, tabelas e painéis que destacam as principais descobertas e nos ajudam a determinar o que os dados sugerem que precisa ser feito.
O problema aqui é que nem todas as pessoas são ótimas em detectar um insight potencialmente valioso escondido em uma pilha de estatísticas. À medida que se torna cada vez mais importante que todos em uma organização tenham autonomia para agir com base em insights baseados em dados, novas maneiras de comunicar essas descobertas estão em constante evolução.
Uma área em que avanços importantes foram feitos é o uso da linguagem humana. Ferramentas de análise que nos permitem fazer perguntas sobre dados e receber respostas em linguagem clara e humana aumentarão muito o acesso aos dados e melhorarão os recursos gerais de dados na organização. Este campo da tecnologia é conhecido como (PLN).
Outra são as novas tecnologias que nos permitem obter uma melhor visão geral visual e compreensão dos dados, imergindo totalmente neles. Realidade estendida (XR) - um termo que inclui realidade virtual (VR) e realidade aumentada (AR) - será claramente visto como um fator de inovação. A VR pode ser usada para criar novos tipos de visualizações que nos permitem transmitir um significado mais rico a partir dos dados, enquanto a AR pode nos mostrar diretamente como os resultados da análise de dados impactam o mundo em tempo real. Por exemplo, um mecânico que tenta diagnosticar um problema com um carro pode ser capaz de olhar para o motor usando óculos de AR e receber previsões sobre quais componentes podem estar problemáticos e precisam ser substituídos. Em um futuro próximo, devemos esperar ver novas maneiras de visualizar ou comunicar dados, ampliando a acessibilidade a análises e insights.
3- Nuvem Híbrida e Edge Computing
A computação em nuvem é outra tendência de tecnologia que teve um impacto enorme na forma como a análise de Big Data é realizada. A capacidade de acessar grandes armazenamentos de dados e agir com base em informações em tempo real sem a necessidade de infraestrutura cara localmente alimentou o boom de aplicativos e startups que oferecem serviços baseados em dados sob demanda. Mas depender inteiramente de provedores de nuvem pública não é o melhor modelo para todos os negócios e, quando você confia todas as suas operações de dados a terceiros, inevitavelmente há preocupações em relação à segurança e governança.
Muitas empresas agora procuram sistemas de nuvem híbrida, onde algumas informações são mantidas na Amazon Web Service, Microsoft Azure ou servidores Google Cloud, enquanto outras, talvez dados mais pessoais ou confidenciais, permanecem dentro do "jardim murado proprietário". Os provedores de nuvem estão cada vez mais a bordo dessa tendência, oferecendo soluções "na nuvem local" que potencialmente fornecem todos os recursos ricos e robustez da nuvem pública, mas permitindo aos proprietários de dados a custódia total de seus dados.
A computação de ponta (Edge Computing) é outra tendência forte que afetará o impacto que Big Data e análises terão em nossas vidas. Essencialmente, isso significa dispositivos criados para processar dados onde eles são coletados, em vez de enviá-los para a nuvem para armazenamento e análise. Alguns dados simplesmente precisam ser processados muito rapidamente para correr o risco de enviá-los para frente e para trás - um bom exemplo aqui são os dados coletados de sensores em veículos autônomos. Em outras situações, os consumidores podem ter certeza de que têm um nível adicional de privacidade quando os insights podem ser obtidos diretamente de seus dispositivos, sem que eles tenham que enviar dados a terceiros. Por exemplo, o recurso Reproduzindo Agora nos novos telefones Android do Google verifica continuamente o ambiente em busca de música para que possa nos dizer os nomes das músicas que estão tocando no supermercado ou dos filmes que estamos assistindo. Isso não seria possível com uma solução puramente baseada na nuvem, pois os usuários rejeitariam a ideia de enviar um fluxo constante 24 horas por dia, 7 dias por semana de seu ambiente de áudio para o Google.
4- A Ascensão do DataOps
DataOps é uma metodologia e prática que se baseia na estrutura DevOps frequentemente implementada no desenvolvimento de software. Enquanto aqueles em funções de DevOps gerenciam processos de tecnologia contínuos em torno da entrega de serviços, DataOps está preocupado com o fluxo de dados de ponta a ponta em uma organização. Em particular, isso significa remover obstáculos que limitam a utilidade ou acessibilidade dos dados e implantação de ferramentas de dados "como um serviço" de terceiros.
A evolução da função de Engenheiro Data Ops torna a função uma grande oportunidade para qualquer pessoa com experiência ou interesse em uma carreira de TI que queira trabalhar nos projetos mais empolgantes e inovadores, que geralmente são projetos de dados. Também veremos o crescimento da popularidade dos fornecedores de "DataOps-as-a-Service", oferecendo gerenciamento de ponta a ponta de processos de dados e pipelines on-tap e pay-as-you-go. Isso continuará a reduzir barreiras de entrada para organizações pequenas e iniciantes com grandes ideias para novos serviços baseados em dados, mas sem acesso à infraestrutura necessária para torná-los realidade.
O universo dos dados oferecerá muitas oportunidades!
Referências:
Nada disso seria possível, porém, sem dados - o petróleo da quarta revolução industrial - e a tecnologia analítica que construímos para nos permitir interpretá-los e entendê-los.
Big Data Analytics é um termo que passou a ser usado para descrever a tecnologia e a prática de trabalhar com dados que não são apenas grandes em volume, mas também gerados em alta velocidade e vêm em muitas formas diferentes. Para cada Elon Musk com um carro autônomo para vender ou Jeff Bezos com uma loja de conveniência sem caixa, há uma operação sofisticada de Big Data e um exército de que transformaram uma visão em realidade.
O termo Big Data em si pode não ser tão onipresente como era há alguns anos, e isso simplesmente porque muitos dos conceitos que ele significa foram totalmente incorporados ao mundo ao nosso redor. Mas só porque ouvimos sobre isso há algum tempo, não significa que seja notícia velha. O fato é que, mesmo hoje, a maioria das organizações luta para obter valor de muitos dos dados aos quais têm acesso. Como prática de negócios, ainda está em sua infância.
Então, aqui está uma lista de algumas das principais tendências que influenciarão como os dados e análises serão usados para trabalho, lazer e tudo mais, este ano e no futuro próximo.
1- AIOps e Automação Cada Vez Mais Sofisticada
A Inteligência Artificial (IA) tem sido um elemento transformador para análises. Com a enorme quantidade de dados estruturados e não estruturados gerados por empresas e seus clientes, mesmo as formas automatizadas de análise podem apenas arranhar a superfície do que pode ser encontrado.
A maneira mais simples de pensar em IA, como é usada hoje, são máquinas - computadores e software - que são capazes de aprender por si mesmas. Para obter um exemplo simples, vejamos um problema que podemos usar um computador para resolver hoje. Qual de nossos clientes é o mais valioso para nós?
Se tivermos apenas a computação tradicional, sem aprendizagem, disponível, poderemos tentar criar um banco de dados que nos mostre quais clientes gastam mais dinheiro. Mas e se um novo cliente aparecer e gastar R$1000 em sua primeira transação conosco? Ele é mais valioso do que um cliente que gastou R$100 por mês no ano passado? Para entender isso, precisamos de muito mais dados, como o valor médio de vida do cliente, e talvez dados pessoais sobre o próprio cliente, como sua idade, hábitos de consumo ou nível de renda, também seriam úteis!
Interpretar, compreender e obter insights de todos esses conjuntos de dados é uma tarefa muito mais complicada. A IA é útil aqui porque pode tentar interpretar todos os dados juntos e fazer previsões sobre o valor potencial da vida útil de um cliente com base em tudo o que sabemos - quer entendamos ou não as conexões. Um elemento importante disso é que um modelo de IA não necessariamente apresenta respostas "certas" ou "erradas" - ele fornece uma gama de probabilidades e, em seguida, refina seus resultados dependendo de quão precisas essas previsões se revelem.
E usamos AIOps (Operações de IA) para fazer isso acontecer. Dá para perceber que essa é uma tendência quente à medida que as empresas percebem o poder dos dados que têm em mãos.
2- Novas Maneiras de Explorar e Interpretar Dados
A visualização de dados é a "trilha final" do processo analítico antes de agirmos com base em nossas descobertas. Tradicionalmente, a comunicação entre máquinas e humanos é realizada por visualização, na forma de gráficos, tabelas e painéis que destacam as principais descobertas e nos ajudam a determinar o que os dados sugerem que precisa ser feito.
O problema aqui é que nem todas as pessoas são ótimas em detectar um insight potencialmente valioso escondido em uma pilha de estatísticas. À medida que se torna cada vez mais importante que todos em uma organização tenham autonomia para agir com base em insights baseados em dados, novas maneiras de comunicar essas descobertas estão em constante evolução.
Uma área em que avanços importantes foram feitos é o uso da linguagem humana. Ferramentas de análise que nos permitem fazer perguntas sobre dados e receber respostas em linguagem clara e humana aumentarão muito o acesso aos dados e melhorarão os recursos gerais de dados na organização. Este campo da tecnologia é conhecido como (PLN).
Outra são as novas tecnologias que nos permitem obter uma melhor visão geral visual e compreensão dos dados, imergindo totalmente neles. Realidade estendida (XR) - um termo que inclui realidade virtual (VR) e realidade aumentada (AR) - será claramente visto como um fator de inovação. A VR pode ser usada para criar novos tipos de visualizações que nos permitem transmitir um significado mais rico a partir dos dados, enquanto a AR pode nos mostrar diretamente como os resultados da análise de dados impactam o mundo em tempo real. Por exemplo, um mecânico que tenta diagnosticar um problema com um carro pode ser capaz de olhar para o motor usando óculos de AR e receber previsões sobre quais componentes podem estar problemáticos e precisam ser substituídos. Em um futuro próximo, devemos esperar ver novas maneiras de visualizar ou comunicar dados, ampliando a acessibilidade a análises e insights.
3- Nuvem Híbrida e Edge Computing
A computação em nuvem é outra tendência de tecnologia que teve um impacto enorme na forma como a análise de Big Data é realizada. A capacidade de acessar grandes armazenamentos de dados e agir com base em informações em tempo real sem a necessidade de infraestrutura cara localmente alimentou o boom de aplicativos e startups que oferecem serviços baseados em dados sob demanda. Mas depender inteiramente de provedores de nuvem pública não é o melhor modelo para todos os negócios e, quando você confia todas as suas operações de dados a terceiros, inevitavelmente há preocupações em relação à segurança e governança.
Muitas empresas agora procuram sistemas de nuvem híbrida, onde algumas informações são mantidas na Amazon Web Service, Microsoft Azure ou servidores Google Cloud, enquanto outras, talvez dados mais pessoais ou confidenciais, permanecem dentro do "jardim murado proprietário". Os provedores de nuvem estão cada vez mais a bordo dessa tendência, oferecendo soluções "na nuvem local" que potencialmente fornecem todos os recursos ricos e robustez da nuvem pública, mas permitindo aos proprietários de dados a custódia total de seus dados.
A computação de ponta (Edge Computing) é outra tendência forte que afetará o impacto que Big Data e análises terão em nossas vidas. Essencialmente, isso significa dispositivos criados para processar dados onde eles são coletados, em vez de enviá-los para a nuvem para armazenamento e análise. Alguns dados simplesmente precisam ser processados muito rapidamente para correr o risco de enviá-los para frente e para trás - um bom exemplo aqui são os dados coletados de sensores em veículos autônomos. Em outras situações, os consumidores podem ter certeza de que têm um nível adicional de privacidade quando os insights podem ser obtidos diretamente de seus dispositivos, sem que eles tenham que enviar dados a terceiros. Por exemplo, o recurso Reproduzindo Agora nos novos telefones Android do Google verifica continuamente o ambiente em busca de música para que possa nos dizer os nomes das músicas que estão tocando no supermercado ou dos filmes que estamos assistindo. Isso não seria possível com uma solução puramente baseada na nuvem, pois os usuários rejeitariam a ideia de enviar um fluxo constante 24 horas por dia, 7 dias por semana de seu ambiente de áudio para o Google.
4- A Ascensão do DataOps
DataOps é uma metodologia e prática que se baseia na estrutura DevOps frequentemente implementada no desenvolvimento de software. Enquanto aqueles em funções de DevOps gerenciam processos de tecnologia contínuos em torno da entrega de serviços, DataOps está preocupado com o fluxo de dados de ponta a ponta em uma organização. Em particular, isso significa remover obstáculos que limitam a utilidade ou acessibilidade dos dados e implantação de ferramentas de dados "como um serviço" de terceiros.
A evolução da função de Engenheiro Data Ops torna a função uma grande oportunidade para qualquer pessoa com experiência ou interesse em uma carreira de TI que queira trabalhar nos projetos mais empolgantes e inovadores, que geralmente são projetos de dados. Também veremos o crescimento da popularidade dos fornecedores de "DataOps-as-a-Service", oferecendo gerenciamento de ponta a ponta de processos de dados e pipelines on-tap e pay-as-you-go. Isso continuará a reduzir barreiras de entrada para organizações pequenas e iniciantes com grandes ideias para novos serviços baseados em dados, mas sem acesso à infraestrutura necessária para torná-los realidade.
O universo dos dados oferecerá muitas oportunidades!
Referências: