miniatura|Creixement i digitalització de la capacitat global d'emmagatzematge d'informació
Big data o dades massives és el nom que reben els conjunts de dades, els procediments i les aplicacions informàtiques, que, pel seu volum, la seva naturalesa diversa i la velocitat a què han de ser processades, ultrapassen la capacitat dels sistemes informàtics habituals. Aquest processament de dades massives s'utilitza per detectar-hi patrons, podent fer així prediccions vàlides per a la presa de decisions.
La disciplina dedicada a les dades massives s'emmarca dins de les tecnologies de la informació i la comunicació. Aquesta disciplina s'ocupa de totes les activitats relacionades amb els sistemes que gestionen grans conjunts de dades. Les dificultats més habituals en aquests casos se centren en la captura, l'emmagatzematge,↑ Kusnetzky, Dan. What is "Big Data?". ZDNet. http://blogs.zdnet.com/virtualization/?p=1708 la cerca, la compartició, l'anàlisi, i la seva visualització. La tendència de manipular ingents quantitats de dades es deu a la necessitat, en molts casos, d'incloure aquesta informació per a la creació d'informes estadístics i models predictius emprats en diversos camps, com per exemple de les anàlisis de negoci, publicitat, les dades de malalties infeccioses, l'espionatge i el seguiment de la població o la lluita contra el crim organitzat.
El límit superior de la capacitat de processament s'ha anat desplaçant al llarg dels anys. D'aquesta forma els límits que estaven fixats el 2008 rondaven l'ordre de petabytes a zettabytes de dades. Els científics amb certa regularitat troben limitacions a causa de la gran quantitat de dades a analitzar en certes àrees, com ara la meteorologia, la genòmica,Community cleverness required. Nature, 455(7209), 1. 2008. http://www.nature.com/nature/journal/v455/n7209/full/455001a.html les complexes simulacions de processos físics,Sandia sees data management challenges spiral. HPC Projects. 4 August 2009. http://www.hpcprojects.com/news/news_story.php?news_id=922 i les investigacions relacionades amb els processos biològics i ambientals.Reichman,O.J., Jones, M.B., and Schildhauer, M.P. 2011. Challenges and Opportunities of Open Data in Ecology. Science 331(6018): 703-705.DOI:10.1126/science.1197962 Les limitacions també afecten els motors de cerca a internet, als sistemes financers i a la informàtica de negocis.
El volum del conjunt de dades creix degut, en part, a la introducció d'informació ubiqua procedent dels sensors sense fils i els dispositius mòbils (per exemple les VANETs), del constant creixement dels històrics d'interaccions d'aplicacions (per exemple processos de registre), càmeres digitals (sistemes de teledetecció), micròfons, lectors de ràdio -identificador de freqüència.Hellerstein, Joe. Parallel Programming in the Age of Big Data. Gigaom Blog. 9 November 2008. http://gigaom.com/2008/11/09/mapreduce-leads-the-way-for-parallel-programming/ Segaran, Toby and Hammerbacher, Jeff. Beautiful Data. 1st Edition. O'Reilly Media. Pg 257. La capacitat tecnològica per capita a nivell mundial d'emmagatzemar dades es multiplica aproximadament per dos cada quaranta mesos des dels anys vuitanta."The World's Technological Capacity to Store, Communicate, and Compute Information", Martin Hilbert and Priscila López (2011), Science (journal), 332(6025), 60-65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.htm S'estima que durant el 2012, cada dia es van crear a prop de 2,5 trilions de bytes de dades (de l'anglès quintillion, 2.5 × 1018).
Per què és important? El que fa que Big Data sigui tan útil per a moltes empreses és el fet que proporciona respostes a moltes preguntes que les empreses ni tan sols sabien que tenien. En altres paraules, proporciona un punt de referència. Amb una quantitat tan gran d'informació, les dades poden ser modelats o provats de qualsevol manera que l'empresa consideri adient. En fer-ho, les organitzacions són capaços d'identificar els problemes d'una forma més entenedora.
La recopilació de grans quantitats de dades i la recerca de tendències dins de les dades permeten que les empreses es moguin molt més ràpidament, sense problemes i de manera eficient. També els permet eliminar les àrees problemàtiques abans que els problemes acabin amb els seus beneficis o la seva reputació. L'anàlisi de Big Data ajuda a les organitzacions a aprofitar les seves dades i utilitzar-los per identificar noves oportunitats.
Això, al seu torn, condueix a moviments de negocis més intel·ligents, operacions més eficients, majors guanys i clients més feliços. Les empreses amb més èxit amb Big Data aconsegueixen valor de les següents formes: Reducció de cost. Les grans tecnologies de dades, com Hadoop i l'anàlisi basat en el núvol, aporten importants avantatges en termes de costos quan es tracta d'emmagatzemar grans quantitats de dades, a més d'identificar maneres més eficients de fer negocis. Més ràpid, millor presa de decisions. Amb la velocitat de Hadoop i l'analítica en memòria, combinada amb la capacitat d'analitzar noves fonts de dades, les empreses poden analitzar la informació immediatament i prendre decisions basades en el que han après. Nous productes i serveis. Amb la capacitat de mesurar les necessitats dels clients i la satisfacció a través d'anàlisis ve el poder de donar als clients el que volen. Amb l'analítica de Big Data, més empreses estan creant nous productes per satisfer les necessitats dels clients.
Definició El "Big data" implica normalment conjunts de dades que superen la capacitat del programari habitual per ser capturades, gestionades i processades en un temps raonable. Els volums del "big data" es troben constantment en augment. L'any 2012 es va dimensionar la seva grandària des d'una dotzena de terabytes fins a diversos petabytes de dades. En la metodologia MIKE2.0 dedicada a investigar temes relacionats amb la gestió d'informació, es defineix big data en termes de permutacions útils, complexitat i dificultat per esborrar registres individuals. L'any 2001, en un informe de recerca, l'analista Doug LaneyLaney, Douglas. "3D Data Management: Controlling Data Volume, Velocity and Variety". Gartner. Retrieved 6 February 2001. del META Group (ara Gartner) definia els reptes que planteja el creixement constant de les dades com una oportunitat i un repte amb tres dimensions:Beyer, Mark. "Gartner Says Solving 'Big Data' Challenge Involves More Than Just Managing Volumes of Data". Gartner. Archived from the original on 10 July 2011. Retrieved 13 July 2011. en el volum, la velocitat i la varietat. L'any 2012, Gartner va actualitzar la definició del big data com a "grans volums, velocitat i varietat d'actius d'informació que requereixen noves formes de processament per tal d'usar-los en la de presa de decisions o l'optimització de processos". Grans proveïdors del mercat de big data estan desenvolupant solucions per atendre les demandes més crítiques de processament de dades massives, com MapR, Cyttek Group i Cloudera. Addicionalment, certes organitzacions introdueixen les 3 "V" (Volum, velocitat, varietat) com a manera de descriure'l, sistema que ha sigut expandit amb altres característiques pròpies del big data: Volum: el big data no apila, només observa i segueix allò que passa. Velocitat: el big data treballa normalment a velocitat a temps real. Varietat: el big data neix dels texts, imatges, àudio i vídeo. A més a més, completa les peces que falten a través de la fusió de dades- Aprenentatge artificial: el big data sovint no pregunta el perquè, sinó simplement detecta patrons. Empremta digital: el big data és sovint un subproducte gratuït de interacció digital. El creixement exponencial del concepte del big data ha derivat a una delimitació de la diferència entre el big data i la Intel·ligència empresarial: La intel·ligència empresarial fa ús d'estadístiques descriptives amb dades amb gran densitat d'informació per a mesurar quelcom, preveure tendències, detectar comportaments en l'economia... El Big data fa ús d'estadístiques intuïtives i conceptes de sistemes d'identificació no lineals per interferir lleis (regressions, relacions no lineals i afectes causals) de grans quantitats de dades amb poca densitat d'informació per tal de revelar relacions i dependències, o per efectuar prediccions de comportaments o possibles resultats.
Característiques El Big Data pot ser descrit segons les següents característiques:
Volum
La quantitat de dades generades i emmagatzemades. La mida de la dada determina el valor i el visionament potencial, determinant així si es considera o no big data. Així doncs, aquesta quantitat cada vegada més gran de dades suposa un repte per als sistemes informàtics, els quals lluiten per emmagatzemar i recopilar la informació per tal d'utilitzar-la en un futur.
Varietat
El tipus i naturalesa de la dada. Això ajuda a la gent que l'analitza a usar efectivament els resultats prevists. D'aquesta manera, es podria definir com el nombre creixent de tipus de dades que han de manejar-se de manera diferent a partir de simples correus electrònics, registres de dades i de targetes de crèdit.
Velocitat
En aquest context, aquesta és la velocitat a la que la dada es genera i processa per complir amb la demanda i desafiaments que rauen en el creixement i desenvolupament exponencial. Per tant, es tracta de la velocitat en què aquestes dades es mouen a partir de criteris de valoració en el processament i l'emmagatzematge.
Variabilitat
Gran varietat en la naturalesa i font de la dada permet efectuar processos per a manegar-la i aguantar el seu potencial.
Veracitat
La qualitat de la dada capturada pot variar dràsticament, afectant anàlisis suposadament acurats.
Actualitat El concepte Big data es troba, durant la dècada de 2010, en continu moviment perquè els avanços tecnològics permeten tractaments de volums cada cop majors. S'entén grans volums com a Terabytes o Petabytes d'informació. Això permet incloure en aquest tipus de projectes informacions que fins avui no s'utilitzaven perquè la tecnologia no permetia processar-los en un temps raonable. Segons dades de la consultora International Data Corporation (IDC), el ritme d'adopció de tecnologies de Big Data creixerà a un ritme del 304% des de l'any 2013.
Amb tot, en l'actualitat, s'ha començat a acceptar el terme ciència de dades, el qual va referència a una àrea emergent de treball que s'ocupa de la recollida, la preparació, l'anàlisi, la visualització, l'administració i la conservació de grans col·leccions d'informació. No obstant això, la ciència de dades és més que un simple anàlisi, ja que permet una gamma de funcions específiques que requereixen una sèrie d'habilitats molt diferents (des de coneixement d'estadística, informàtica com les matemàtiques, entre d'altres). És per aquests motius que el món científic, que es caracteritza per fer un ús de grans volums de dades, s'ha vist impulsat i beneficiat per Big Data Analytics, de forma que àmbits tan dispars entre si (com les ciències naturals, l'astronomia, la botànics i la geologia) han trobat diferents aplicacions i funcionalitats que els permeten analitzar detalladament els seus problemes.