In statistica e informatica, i big data ("grandi [masse di] dati") o megadatiVoce 3551299 nella IATE. sono genericamente una raccolta di dati informatici così estesa in termini di volume, velocità e varietà da richiedere tecnologie e metodi analitici specifici per l'estrazione di valore o conoscenza. Il termine è utilizzato dunque in riferimento alla capacità, propria della scienza dei dati, di analizzare ovvero estrapolare e mettere in relazione un'enorme mole di dati eterogenei, strutturati e non strutturati (grazie a sofisticati metodi statistici e informatici di elaborazione), al fine di scoprire i legami tra fenomeni diversi (ad esempio correlazioni) e prevedere quelli futuri. I big data possono essere utilizzati per diversi scopi tra cui quello di misurare le prestazioni di un'organizzazione nonché di un processo aziendale.
Descrizione
Malgrado non esista una separazione rigorosa tra big data e altri dati (non classificabili come big), sono stati proposti diversi approcci per descriverne le peculiarità. Nel 2011 Teradata afferma che «Un sistema di big data eccede/sorpassa/supera i sistemi hardware e software comunemente usati per catturare, gestire ed elaborare i dati in un lasso di tempo ragionevole per una comunità/popolazione di utenti anche massiva». Un'ulteriore proposta di caratterizzazione dei big data è stata data dal McKinsey Global Institute: «Un sistema di Big Data si riferisce a dataset la cui taglia/volume è talmente grande che eccede la capacità dei sistemi di database relazionali di catturare, immagazzinare, gestire ed analizzare».
Per poter parlare di big data il volume dei dati deve essere correlato alla capacità del sistema di acquisire le informazioni così come arrivano dalle differenti sorgenti dati che sono adoperate, quindi, un sistema diventa big quando aumenta il volume dei dati e allo stesso tempo aumenta la velocità/flusso di informazioni al secondo che il sistema deve poter acquisire e gestire. Negli ultimi due anni c'è stato infatti un incremento del 90% dei dati prodotti nel mondo e le aziende potrebbero arrivare a produrre zettabyte di dati, ad esempio considerando dati provenienti da sensori, dati satellitari, finanziari, telefonici, ecc.
Il progressivo aumento della dimensione dei dataset è legato alla necessità di analisi su un unico insieme di dati, con l'obiettivo di estrarre informazioni aggiuntive rispetto a quelle che si potrebbero ottenere analizzando piccole serie, con la stessa quantità totale di dati. Ad esempio, l'analisi per sondare gli "umori" dei mercati e del commercio, e quindi del trend complessivo della società e del fiume di informazioni che viaggiano e transitano attraverso Internet. Con i big data la mole dei dati è dell'ordine degli zettabyte, ovvero miliardi di terabyte, quindi si richiede una potenza di calcolo parallelo e massivo con strumenti dedicati eseguiti su decine, centinaia o anche migliaia di server. I Big data comportano anche l'interrelazione di dati provenienti da fonti potenzialmente eterogenee, cioè non soltanto i dati strutturati (come quelli provenienti dai database) ma anche non strutturati (immagini, email, dati GPS, informazioni derivanti dai social network, ecc.).
Definizione e caratteristiche
Non esiste una soglia di riferimento prestabilita in termini di dimensione oltre la quale è lecito parlare di Big Data: in genere si parla di big data quando l'insieme di dati è talmente grande e complesso che richiede la definizione di nuovi strumenti e metodologie per estrapolare, gestire e processare informazioni entro un tempo ragionevole.Snijders, C., Matzat, U., & Reips, U.-D. (2012). ‘Big Data’: Big gaps of knowledge in the field of Internet. International Journal of Internet Science, 7, 1-5. International Journal of Internet Science, Volume 7, Issue 1 Infatti, come enunciato dalla legge di Moore, l'evoluzione tecnologica permette la memorizzazione e la gestione di dataset di dimensioni continuamente crescenti. In uno studio del 2001, l'analista Douglas Laney aveva definito il modello di crescita come tridimensionale (modello delle «3V»): con il passare del tempo aumentano volume (dei dati), velocità e varietà (dei dati). In molti casi questo modello è ancora valido, nonostante esso sia stato successivamente esteso.
Nel primo modello di Douglas Laney, chiamato delle «3V», le tre parole chiave hanno il seguente significato: Volume: si riferisce alla quantità di dati (strutturati o non strutturati) generati ogni secondo. Tali dati sono generati da sorgenti eterogenee, quali: sensori, log, , email, social media e database tradizionali; Varietà: si riferisce alla differente tipologia dei dati che vengono generati, accumulati ed utilizzati. Prima dell'epoca dei Big Data si prendevano in considerazione per le analisi principalmente dati strutturati; la loro manipolazione veniva eseguita mediante l'uso di database relazionali. Per avere analisi più accurate e più profonde, oggi è necessario prendere in considerazione anche: a) dati non strutturati (ad esempio file di testo generati dalle macchine industriali o log di web server o dei firewall); b) dati semi strutturati (ad esempio un atto notarile con frasi fisse e frasi variabili) oltre a quelli strutturati (ad esempio la tabella di un database); Velocità: si riferisce alla velocità con cui i nuovi dati vengono generati. Sono importanti non solo la celerità nella generazione dei dati, ma anche la necessità che questi dati/informazioni arrivino in sistema real-time al fine di effettuare analisi su di essi.
Con il tempo, sono state introdotte una quarta V, quella di veridicità, e poi una quinta, quella di Valore.
Veridicità: considerando la varietà dei dati sorgente (dati strutturati o non strutturati) e la velocità alla quale tali dati possono variare, è molto probabile che non si riesca a garantire la stessa qualità di dati in ingresso ai sistemi di analisi normalmente disponibile in processi di ETL tradizionali. È evidente che se i dati alla base delle analisi sono poco accurati, i risultati delle analisi non saranno migliori. Visto che su tali risultati possono essere basate delle decisioni, è fondamentale assegnare un indice di veridicità ai dati su cui si basano le analisi, in modo da avere una misura dell'affidabilità. Valore: si riferisce alla capacità di trasformare i dati in valore. Un progetto Big Data necessita di investimenti, anche importanti, per la raccolta granulare dei dati e la loro analisi. Prima di avviare un'iniziativa è importante valutare e documentare quale sia il valore effettivo portato al business.
Con il passare del tempo, ulteriori caratteristiche si sono aggiunte al modello, quali ad esempio:
Altri modelli concettuali, come il Modello ITMI (Informazione, Tecnologia, Metodi, Impatto), hanno cercato di rappresentare in maniera sintetica i vari aspetti che caratterizzano il fenomeno dei big data nella sua complessità, andando oltre le caratteristiche del dato, come avviene per i modelli basati sulle "V".
Crescita del volume dei dati
I Big Data sono un argomento interessante per molte aziende, le quali negli ultimi anni hanno investito su questa tecnologia più di 15 miliardi di dollari, finanziando lo sviluppo di software per la gestione e l'analisi dei dati. Questo è accaduto perché le economie più forti sono molto motivate all'analisi di enormi quantità di dati: basti pensare che ci sono oltre 4,6 miliardi di smartphone attivi e circa 2 miliardi di persone hanno accesso a Internet. Dal 1986 ad oggi il volume dei dati in circolazione è aumentato in maniera esponenziale: nel 1986 i dati erano 281 Petabyte; nel 1993 i dati erano 471 PetaByte; nel 2000 i dati erano 2,2 Exabyte; nel 2007 i dati erano 65 ExaByte; per il 2014 si era previsto uno scambio di oltre 650 ExaByte.
Differenze con la business intelligence
La crescente maturità del concetto di Big Data mette in evidenza le differenze con la business intelligence, in materia di dati e del loro utilizzo: La business intelligence utilizza la statistica descrittiva con dati ad alta densità d'informazione per misurare cose, rilevare tendenze, ecc., cioè utilizza dataset limitati, dati puliti e modelli semplici; Big Data utilizza la statistica inferenziale e concetti di identificazione di sistemi non lineari Billings S.A. "Nonlinear System Identification: NARMAX Methods in the Time, Frequency, and Spatio-Temporal Domains". Wiley, 2013, per dedurre leggi (come regressioni, relazioni non lineari, ed effetti causali) da grandi insiemi di dati; per rivelare rapporti e dipendenze tra essi ed anche per effettuare previsioni di risultati e comportamenti, cioè utilizza dataset eterogenei (non correlati tra loro), dati grezzi e modelli predittivi complessi. Rasetti M., Merelli E., The Topological Field Theory of Data: a program towards a novel strategy for data mining through data language
Modelli di analisi dei dati Come è stato detto in precedenza, il volume di dati dei Big Data e l'ampio uso di dati non strutturati non permette l'utilizzo dei tradizionali sistemi per la gestione di basi di dati relazionali (RDBMS), se non attraverso tecniche di strutturazione del dato. Un dato strutturato archiviato nei tradizionali sistemi RDBMS permette di avere prestazioni infinitamente migliori, nella ricerca, rispetto ai sistemi NoSQL, garantendo la consistenza del dato, che in sistemi Big Data generalmente non è garantita. I sistemi Big Data pertanto non sono da considerarsi complementari alle basi di dati, bensì un insieme di tecniche di ETL su dati non strutturati e . Gli operatori di mercato utilizzano piuttosto sistemi con elevata scalabilità e soluzioni basate sulla NoSQL. Nell'ambito della business analytics sono nati nuovi modelli di rappresentazione in grado di gestire tale mole di dati con elaborazioni in parallelo dei database. Architetture di elaborazione distribuita di grandi insiemi di dati sono offerte da MapReduce di Google e dalla controparte open source Apache Hadoop. In base agli strumenti e ai modelli utilizzati per l'analisi e la gestione dei dati è possibile distinguere quattro metodologie (o tipologie) di Big Data Analytics:
Analisi descrittiva, l’insieme di strumenti orientati a descrivere la situazione attuale e passata dei processi aziendali e/o aree funzionali. Tali strumenti permettono di accedere ai dati in maniera interattiva (inserendo ad esempio filtri o effettuando operazioni di drill-down) e di visualizzare in modo sintetico e grafico i principali indicatori di prestazione (la totalità delle grandi organizzazioni si serve questa tipologia); Analisi predittiva, strumenti avanzati che effettuano l’analisi dei dati per rispondere a domande relative a cosa potrebbe accadere nel futuro (sono caratterizzati da tecniche matematiche quali regressione, proiezione (forecasting), modelli predittivi, ecc.); Analisi prescrittiva, strumenti avanzati che, insieme all'analisi dei dati, sono capaci di proporre soluzioni operative/strategiche sulla base delle analisi svolte; Automated Analytics, strumenti capaci di implementare autonomamente l’azione proposta secondo il risultato delle analisi svolte.
Tecnologie di immagazzinamento ed elaborazione
La crescente mole di dati generati da sorgenti di dati eterogenei ha posto l'attenzione su come estrarli, archiviarli ed utilizzarli al fine di ottenerne un profitto. Il problema che si riscontra è dovuto principalmente alla difficoltà di gestire i Big Data con database tradizionali, sia in termini di costi, sia in termini di volume. L'insieme di questi elementi ha portato allo sviluppo di nuovi modelli di elaborazione, che hanno permesso alle aziende di diventare più competitive, sia attraverso una riduzione dei costi, sia perché i nuovi sistemi sono in grado di archiviare, trasferire e combinare i dati con maggiore velocità e in maniera agile. Per poter gestire il sistema di Big Data si adoperano sistemi che distribuiscono sia risorse che servizi: