Un llac de dades (data lake en anglès) és un sistema o dipòsit de dades emmagatzemades en el seu format natural / en brut, normalment objectes binaris o fitxers. Un llac de dades és en general un únic magatzem de dades, incloent-hi còpies de dades de sistema base, font de dades de sensors, dades socials, etc., i dades transformades utilitzades per a tasques com ara la presentació d'informes, la visualització, anàlisi avançat i aprenentatge automàtic. Un llac de dades pot incloure dades estructurades de bases de dades relacionals (files i columnes), dades semiestructurades (CSV, registres, XML, JSON), dades no estructurades (correus electrònics, documents, PDF) i dades binàries (imatges, àudio, vídeo). Es pot establir un llac de dades "local" (dins dels centres de dades d'una organització) o "al núvol" (mitjançant serveis de núvol de proveïdors com Amazon, Microsoft o Google).
Un pantà de dades (o data swamp en anglès) és un llac de dades deteriorat i no gestionat que és inaccessible per als usuaris previstos o que aporta poc valor.
Rerefons James Dixon, llavors director de tecnologia de Pentaho, va encunyar el terme per contrastar-lo amb data mart, que és un repositori més petit d'atributs interessants derivats de dades en brut. En la promoció dels data lakes, va argumentar que els data marts tenen diversos problemes inherents, com ara la separació d'informació. PricewaterhouseCoopers (PwC) va dir que els llacs de dades podrien "acabar amb les sitges de dades". En el seu estudi sobre llacs de dades, van assenyalar que les empreses "comencen a extreure i col·locar dades per analítiques en un únic dipòsit basat en Hadoop". Hortonworks, Google, Oracle, Microsoft, Zaloni, Teradata, Impetus Technologies, Cloudera, MongoDB i Amazon ara tenen ofertes de llacs de dades.
Exemples Moltes empreses de serveis com Google Cloud Storage i Amazona S3 o un sistema d'arxiu distribuït com Apache Hadoop, usen l'emmagatzematge al núvol. I hi ha un interès acadèmic gradual en el concepte de llacs de dades. Per exemple, Personal DataLake a la Universitat de Cardiff és un tipus nou de llac de dades que apunta a la gestió de dades massives d'usuaris individuals per proporcionar un punt sol de recollida, organització, i compartició de dades personals.
Un llac de dades anterior (Hadoop 1.0) tenia capacitats limitades amb el seu processament per lots (MapReduce) i era l'únic paradigma de processament que s'hi associava. Interaccionar amb el llac de dades significava haver de tenir experiència en Java amb MapReduce i eines de nivell superior com Apache Pig, Apache Spark i Apache Hive (que, per si soles, eren inicialment orientades a lots).
Crítica El juny de 2015, David Needle va caracteritzar els "anomenats llacs de dades" com "una de les maneres més controvertides de gestionar el big data". PwC també va tenir cura d'assenyalar en la seva investigació que no totes les iniciatives de data llac tenen èxit. Citant a Sean Martin, CTO de Cambridge Semantics:
Es descriuen empreses que construeixen llacs de dada exitosa tan gradualment madurant el seu llac mentre representen fora de quina dada i metadata és important a l'organització. Una altra crítica és que el concepte és borrós i arbitrari. I es refereix a qualsevol eina o pràctica d'administració de la dada que no té cabuda en l'arquitectura de magatzem de dada tradicional. El llac de dada ha estat referit com a tecnologia particular, i ha estat etiquetat com a dada crua o reservori o hub per acumular dades. També ha estat definit com a central hub per auto analítica de servei. El concepte del llac de dada ha estat sobrecarregat de significats, el qual ha acabat desvirtuant el terme en qüestió.
Tot i que les crítiques als llacs de dades estan justificades, en molts casos són massa àmplies i es podrien aplicar a qualsevol esforç tecnològic en general i a projectes de dades específicament. Per exemple, el terme "magatzem de dades" pateix actualment la mateixa definició opaca i canviant que un llac de dades. També es pot dir que tampoc tots els esforços del magatzem de dades han tingut èxit. En resposta a diverses crítiques, McKinsey va assenyalar que el llac de dades s'hauria de veure com un model de servei per oferir valor comercial a l'empresa, no com un resultat tecnològic.
Referències
Categoria:Emmagatzematge al núvol Categoria:Gestió de dades