A análise de dados é um processo de inspeção, limpeza, transformação e modelagem de dados com o objetivo de descobrir informações úteis, informar conclusões e apoiar a tomada de decisões. A análise de dados tem múltiplas facetas e abordagens, abrangendo diversas técnicas sob uma variedade de nomes, e é usada em diferentes domínios dos negócios, ciências e ciências sociais. No mundo dos negócios de hoje, a análise de dados desempenha um papel tornando a tomada de decisões mais científicas e ajudando as empresas a operar com mais eficácia.Xia, B. S., & Gong, P. (2015). Review of business intelligence through data analysis. Benchmarking, 21(2), 300-311. doi:10.1108/BIJ-08-2012-0050
A mineração de dados é uma técnica de análise de dados específica que se concentra na modelagem estatística e na descoberta de conhecimento para fins preditivos em vez de puramente descritivos, enquanto a inteligência de negócios cobre análises de dados que dependem fortemente da agregação, com foco principalmente nas informações de negócios.Exploring Data Analysis Em aplicativos estatísticos, a análise de dados pode ser dividida em estatística descritiva, análise exploratória de dados (AED) e análise confirmatória de dados (ACD). A AED se concentra em descobrir novas características nos dados, enquanto a ACD se concentra em confirmar ou refutar hipóteses existentes. A análise preditiva se concentra na aplicação de modelos estatísticos para previsão ou classificação preditiva, enquanto a análise de texto aplica técnicas estatísticas, linguísticas e estruturais para extrair e classificar informações de fontes textuais, um tipo de dados não estruturados. Todos os itens acima são variedades de análise de dados.
A integração de dados é um precursor da análise de dados, e a análise de dados está intimamente ligada à visualização e disseminação de dados.
O processo de análise de dados direita|miniaturadaimagem|350x350px| Fluxograma do processo de ciência de dados de Doing Data Science, de Schutt & O'Neil (2013) A análise refere-se à divisão de um todo em seus componentes separados para exame individual. A análise de dados é um processo de obtenção de dados brutos, e posterior conversão dos mesmos em informações úteis para a tomada de decisão dos usuários. Os dados são coletados e analisados para responder a perguntas, testar hipóteses ou refutar hipóteses.
O estatístico John Tukey definiu a análise de dados em 1961, como:Existem várias fases que podem ser distinguidas, descritas a seguir. As fases são iterativas, em que o feedback das fases posteriores pode resultar em trabalho adicional nas fases anteriores. A estrutura CRISP, usada na mineração de dados, tem etapas semelhantes.
Requisitos de dados Os dados são necessários como entradas para a análise, que é especificada com base nos requisitos daqueles que dirigem a análise ou dos clientes (que usarão o produto acabado da análise). O tipo geral de entidade sobre a qual os dados serão coletados é chamado de unidade experimental (por exemplo, uma pessoa ou população de pessoas). Variáveis específicas relacionadas a uma população (por exemplo, idade e renda) podem ser especificadas e obtidas. Os dados podem ser numéricos ou categóricos (ou seja, um rótulo de texto para números).
Coleta de dados Os dados são coletados de várias fontes. Os requisitos podem ser comunicados por analistas aos custodiantes dos dados; como o pessoal de tecnologia da informação dentro de uma organização. Os dados também podem ser coletados de sensores no ambiente, incluindo câmeras de tráfego, satélites, dispositivos de gravação, etc. Também pode ser obtido por meio de entrevistas, downloads de fontes online ou leitura de documentação.
Processamento de dados miniaturadaimagem|350x350px| As fases do ciclo de inteligência usadas para converter informações brutas em inteligência ou conhecimento acionável são conceitualmente semelhantes às fases da análise de dados Os dados, quando obtidos inicialmente, devem ser processados ou organizados para análise. Por exemplo, isso pode envolver a colocação de dados em linhas e colunas em um formato de tabela (conhecido como dados estruturados) para análise posterior, geralmente por meio do uso de softwares estatísticos ou de planilhas.
Limpeza de dados Uma vez processados e organizados, os dados podem estar incompletos, conter duplicatas ou conter erros. A necessidade de limpeza de dados, surgirá de problemas na forma como os dados são inseridos e armazenados. A limpeza de dados é o processo de prevenção e correção desses erros. Tarefas comuns incluem correspondência de registros, identificação de dados imprecisos, qualidade geral dos dados existentes, desduplicação e segmentação de colunas. Esses problemas de dados também podem ser identificados por meio de uma variedade de técnicas analíticas. Por exemplo, com informações financeiras, os totais para variáveis específicas podem ser comparados com números publicados separadamente, que se acredita serem confiáveis.Perceptual Edge-Jonathan Koomey-Best practices for understanding quantitative data-February 14, 2006 Valores incomuns, acima ou abaixo de limites predeterminados, também podem ser revisados. Existem vários tipos de limpeza de dados, que dependem do tipo de dados no conjunto; estes podem ser números de telefone, endereços de e-mail, empregadores ou outros valores. Os métodos de dados quantitativos para detecção de valores discrepantes podem ser usados para eliminar dados que parecem ter uma maior probabilidade de terem sido inseridos incorretamente. Os corretores ortográficos de dados textuais podem ser usados para diminuir a quantidade de palavras digitadas incorretamente, no entanto, é mais difícil dizer se as próprias palavras estão corretas.
Análise exploratória de dados Uma vez que os conjuntos de dados estejam limpos, eles podem ser analisados. Os analistas podem aplicar uma variedade de técnicas, conhecidas como análise exploratória de dados, para começar a entender as mensagens contidas nos dados obtidos. O processo de exploração de dados pode resultar em limpeza adicional dos dados ou em solicitações de dados adicionais; portanto, a inicialização das fases iterativas mencionadas no parágrafo inicial desta seção. As estatísticas descritivas, como a média ou a mediana, podem ser geradas para auxiliar na compreensão dos dados. A visualização dos dados também é uma técnica utilizada, na qual o analista pode examinar os dados em formato gráfico para obter insights adicionais sobre as mensagens contidas nos dados.
Modelagem e algoritmos Podem ser aplicadas fórmulas ou modelos matemáticos (conhecidos como algoritmos) aos dados para identificar relações entre as variáveis; por exemplo, usando correlação ou causalidade. Em termos gerais, os modelos podem ser desenvolvidos para avaliar uma variável específica com base em outras variáveis contidas no conjunto de dados, com algum erro residual dependendo da precisão do modelo implementado (por exemplo, Dados = Modelo + Erro).
A estatística inferencial inclui a utilização de técnicas que medem as relações entre variáveis específicas. Por exemplo, a análise de regressão pode ser usada para modelar se uma mudança nas propagandas (variável independente X) fornece uma explicação para a variação nas vendas (variável dependente Y). Em termos matemáticos, Y (vendas) é uma função de X (publicidade). Isso pode ser descrito como (Y = aX + b + erro), onde o modelo é projetado de tal forma que (a) e (b) minimizem o erro quando o modelo prevê Y para um determinado intervalo de valores de X. Os analistas também podem tentar construir modelos descritivos dos dados, com o objetivo de simplificar a análise e comunicar os resultados.
Produto de dados Um produto de dados é um aplicativo de computador que recebe entradas de dados e gera saídas, devolvendo-os ao ambiente. Ele pode se basear em um modelo ou algoritmo. Por exemplo, um aplicativo que analisa dados sobre o histórico de compras de um cliente e usa os resultados para recomendar outras compras que o cliente possa gostar.
Comunicação miniaturadaimagem|250x250px| Visualização de dados para entender os resultados de uma análise de dados. Uma vez que os dados são analisados, eles podem ser apresentados em vários formatos para que os usuários da análise apoiem seus requisitos. Os usuários podem ter feedback, o que resulta em análises adicionais. Como tal, grande parte do ciclo analítico é iterativo.
Ao determinar como comunicar os resultados, o analista pode considerar a implementação de uma variedade de técnicas de visualização de dados, para ajudar a comunicar a mensagem ao público de forma clara e eficiente. A visualização de dados usa telas de informações (gráficos, como tabelas e gráficos) para ajudar a comunicar as mensagens principais contidas nos dados. As tabelas são uma ferramenta valiosa, pois permitem a um usuário consultar e focar em números específicos; enquanto gráficos (por exemplo, gráficos de barras ou de linhas), podem ajudar a explicar as mensagens quantitativas contidas nos dados.
Mensagens quantitativas direita|miniaturadaimagem|250x250px| Uma série temporal ilustrada com um gráfico de linhas que demonstra as tendências dos gastos e receitas federais dos EUA ao longo do tempo direita|miniaturadaimagem|250x250px| Um gráfico de dispersão que ilustra a correlação entre duas variáveis (inflação e desemprego) medidas em pontos no tempo Stephen Few descreveu oito tipos de mensagens quantitativas que os usuários podem tentar entender ou comunicar a partir de um conjunto de dados e os gráficos associados usados para ajudar a comunicar a mensagem. Os clientes que especificam os requisitos e os analistas que executam a análise de dados podem considerar essas mensagens no decorrer do processo.
Série temporal: uma única variável é capturada ao longo de um período de tempo, como a taxa de desemprego em um período de 10 anos. Um gráfico de linha pode ser usado para demonstrar a tendência. Classificação: subdivisões categóricas são classificadas em ordem crescente ou decrescente, como uma classificação de desempenho de vendas (a medida) por vendedores (a categoria, com cada vendedor uma subdivisão categórica) durante um único período. Um gráfico de barras pode ser usado para mostrar a comparação entre os vendedores. Parte para todo: subdivisões categóricas são medidas como uma proporção do todo (ou seja, uma porcentagem de 100%). Um gráfico de pizza ou de barras pode mostrar a comparação de proporções, como a participação de mercado representada pelos concorrentes em um mercado. Desvio: as subdivisões categóricas são comparadas com uma referência, como uma comparação entre despesas reais e orçadas para vários departamentos de uma empresa em um determinado período. Um gráfico de barras pode mostrar a comparação do valor real com o de referência. Distribuição de frequência: mostra o número de observações de uma determinada variável para determinado intervalo, como o número de anos em que o retorno do mercado de ações está entre intervalos como 0–10%, 11–20%, etc. Um histograma, um tipo de gráfico de barras, pode ser usado para esta análise. Correlação: comparação entre observações representadas por duas variáveis (X, Y) para determinar se elas tendem a se mover na mesma direção ou em direções opostas. Por exemplo, traçando o desemprego (X) e a inflação (Y) para uma amostra de meses. Um gráfico de dispersão é normalmente usado para esta mensagem. Comparação nominal: comparar subdivisões categóricas sem uma ordem específica, como o volume de vendas por código de produto. Um gráfico de barras pode ser usado para esta comparação.