Rudarenje podataka ili podatkovno rudarenje (eng. data mining) je sortiranje, organiziranje ili grupiranje velikog broja podataka i izvlačenje relevantnih informacija. Oblik je analitike podataka.(srp.) Računarski fakultet Šta je to Big Data? Sve što treba znati / pristupljeno 22. veljače 2020.
Sam termin mogli bismo objasniti kao proces pronalaženja korisnog znanja ili informacija, odnosno otkrivanje znanja iz velike količine podataka. Rudarenjem se poboljšava proces donošenja odluka na strateško-poslovnoj razini pružajući uvid u «skrivene» podatke business intelligence (BI) metodologijom. Rudarenjem se također otkrivaju odnosi, logičnost, pravilnost te općenito bilo kakve strukture među podacima. Rudarenje podrazumijeva organiziranje baza čišćenjem podataka kako bi se pristupilo znanju i stjecanju istog na temelju postojećih podataka u bazama. Razvoj tehnologije, računala, interneta bitno doprinosi lakšem organiziranju podataka, no da bi oni postali korisni, potrebno je njihovo pretvaranje u informacije i znanje.
Termin rudarenja često se poistovjećuje s 2 različita procesa: otkrivanje i predviđanje znanja. Proces otkrivanja znanja implicira korisnikovo razumijevanje eksplicitnih informacija za koje je bitno da su u čitljivom obliku. Predviđanje se odnosi na buduće događaje i u nekim pristupima moze biti čitljivo i prozirno dok u drugim neprovidno.
Korištenje
Politika: rudarenje je metoda kojom je U.S. Army uspjela identificirati vođu napada na Twin Towers, 11.9.2001.; a tom se metodom također koriste CIA i Canadian Security Intelligence Service
Igre: već od 60-ih godina u nekim kombinatornim igrama poput šaha
Poslovanje: znatno pomaže u bržem donošenju poslovnih odluka zbog kontaktiranja samo onih prospekata ili klijenata za koje postoji visoka vjerojatnost da će odgovoriti, odnosno vjerojatnost uspjeha. Još jedan primjer primjene rudarenja podataka jest analiza košarice kupaca odnosno otkrivanje proizvoda čija je potražnja veća.
Kako bi bolje shvatili pojam rudarenja možemo ukratko reći da je rudarenje «prirodna evolucija tehnologije, a koja upotrebljava koncepte, metode i tehnike različitih disciplina kao što su baze podataka, statistika i umjetna inteligencija.» Potreba da se podaci obrade i analiziraju kako bi se došlo do korisnih informacija i znanja rezultat je razvoja sustava baza podataka. Informacijska tehnologija kakvu je poznajemo danas, omogućuje nam bilježenje svake aktivnosti u digitalnom obliku, a količina tih podataka mjeri se u gigabajtima i terabajtima.
Ogromne baze podataka bogate su podacima, ali i siromašne informacijama koje su skrivene u pohranjenim podacima. Upravo je rudarenje podataka to koje pomaže otkriti važne informacije i znanje utkano u podatke, uvelike pridonoseći donošenju odluka, poslovanju i znanosti.» Proces rudarenja ne može izvršiti samo 1 osoba jer se on sastoji od više faza, točnije 3. 1. tzv. Problemska faza odnosno odabir i definiranje problema, procjena zadnjeg te primjena znanja. Te zadatke obavlja korisnik. 2. Podatkovna faza: sve vezano uz pripremu podataka za rudarenje; obavlja ju informatičar. 3. Metodološka faza : sve od analize, selekcije, prezentacije do interpretacije rezultata.
Stručnjak za rudarenje podataka (eng.data miner) je osoba zadužena za zadatke koji obuhvaćaju treću i zadnju fazu procesa rudarenja.
Rudarenje podataka Rudarenje podataka je relativno novo polje računalne znanosti koje se bavi procesiranjem i izdvajanjem šablona (uzoraka) u velikim kompletima (setovima) podataka kombinirajući metode statistike, metode umjetne inteligencije i metode upravljanja bazama podataka. Što se samog naziva na engleskom tiče, data mining, postoji još nekoliko naziva, KDD (Knowledge Discovery in Databases), CRM (Customer Relationship Management) ili Database Intelligence. Međutim, svi ti nazivi opisuju jednu stvar – korištenje svih mogućih alata kako bi se informacije dovele do najviše točke i iskoristile na najbolji način. Zahvaljujući nedavnim tehničkim napredcima u procesiranju podataka, povećanom kapacitetu memorija (više spremljenih podataka) i boljoj povezivosti računala, pretraživanje je podataka je postalo veoma važno.
Metode pretraživanja podataka Data mining je proces u kojem se koriste sljedeće metode kako bi se otkrili skriveni uzorci, šablone podataka: neuronske mreže(virtualne mreže uređene po uzoru na ljudski mozak, u kojima različiti dijelovi mreže istovremeno procesuiraju informacije, te „proučavaju i pamte“ prošle šablone, uzorke podataka), grupiranje podataka, genetski algoritmi (kombiniranje određenih podataka kako bi se pronašlo rješenje za neki problem)iz 1950-ih, stablo odluke (grafikoni koji prikazuju niz odluka i njihove moguće posljedice) iz 1960-ih te potporni vektorski stroj (svrštava unesene podatke u različite grupe, klase, onosno klasificira podatke) iz 1990-ih. Pretraživanje podataka bazirano na subjektu je metoda u kojoj se traže asocijacije između pojedinih podataka. Pretraživanje podataka se osniva na poznavanju, odnosno predviđanju ponašanja varijabli koje čine svaki podatak u bazi podataka. Još točnije, osniva se na poznavanju parametara varijabli (statistički podaci kao što su minimum, maksimum, standardna devijacija, itd.), te na znanju što svaka varijabla predstavlja u stvarnom svijetu, koje su varijable potencijalno korisne i kako se varijable u bazi podataka odnose međusobno. Jednomjerne, dvomjerne, višemjerne tehnike – i tablice i grafikoni – su tehnike kojese prvenstveno koriste.
Modeliranje i segmentacija Ako su svi podaci jasni i razumljivi, i postoji stabilan i dovoljno velik broj varijabli, sljedeći korak bi trebalo biti modeliranje (logistička regresija ili neki drugi model), rangirajući podatke na osnovu sličnosti u kategoriji „odgovor“ ili pripisujući im doživotnu vrijednost ili „loyalty“ rezulat. Modeliranje može biti: model „odgovora“ (odaziva), model profit, loyalty model ili model doživotne vrijednosti. Segmentacija baze podataka (rastavljanje na dijelove) može biti veoma jednostavna, ali može biti o veoma kompleksna, bazirana na mnogo varijabli i optimizirana za pojedine segmente.
Pretraživanje uzoraka „Pretraživanje uzoraka“ je metoda pretrage podataka koja se koristi za pronalaženje uzoraka podatka. U ovome kontekstu riječ „uzorci“ često znači „pravila asocijacije“. Prvotni motivi za traženje pravila asocijacija su proizašli iz želje da se analiziraju podaci o ponašanju kupaca iz jednog supermarketa kada je riječ o kupovanju njihovih proizvoda. Na primjer, jedno pravilo asocijacije „pivo⇒ čips (80%)“ govori da su 4 od 5 kupaca koji su kupili pivo također kupili i čips. Jedan od glavnih problema pri pretraživanju podataka jest što podaci koji se analiziraju ne moraju uvijek i predstavljati cijelu domenu, te stoga ne sadrže vezu s ostalim dijelovima domene. Zato se u pojedinim slučajevima veze između podataka kontroliraju ili uklanjaju.
Standardi za pretraživanje podataka Bilo je pokušaja da se definiraju standardi za pretraživanje podataka, kao na primjer 1999.godine – CRISP-DM 1.0 (Cross Industry Standard Process for Data Mining) i 2004.godine – JDM 1.0 (Java Data Mining standard), međutim ovi standardi su još uvijek u razvoju. Neovisno o ovim standardima, postoje još neki softveri kao R language, Weka, KNIME, RapidMiner, jHepWork i dr., koji su postali neformalni standardi za rad s procesima pretraživanja podataka. Naravno, svi ovi sustavi mogu unositi i iznositi modele u PMML-u (Predictive Model Markup Language), što omogućava standardan način predstavljanja modela pretraživanja podataka. PMML je jezik baziran na XML-u, a razvijen od strane DMG-a (Data Mining Group), neovisna grupa sastavljena od mnogo tvrtki koje se bave procesom pretraživanja podataka.
Konferencije o data mining-u SIGKDD (Special Interest Group on Knowledge discovery and Data Mining) su još od 1989.godine održavali internacionalne godišnje konferencije i objavljivali informacije o pretraživanju podataka. 1999.godine su objavili akademski dnevnik pod naslovom „SIGKDD Explorations“. Druge konferencije s temom pretraživanja podataka uključuju: DMIN – International Conference on Data Mining DMKD – problemi pri pretrazi na konferenciji Data Mining and Knowledge Discovery ECDM – European Conference on Data Mining ECML-PKDD – European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases EDM – International Conference on Educational Data Mining ICDM – IEEE International Conference on Data Mining MLDM – Machine Learning and Data Mining in Pattern Recognition PAKDD – The annual Pacific-Asia Conference on Knowledge Discovery and Data Mining PAW – Predictive Analytics World SDM – SIAM International Conference on Data Mining
Faze pretraživanja podataka CRISP-DM (Cross Industry Standard Process for Data Mining) je model procesa pretraživanja podataka koji opisuje često korištene pristupe koje stručnjaci koriste kako bi riješili probleme pri pretraživanju. Opisuje se šest faza: razumijevanje posla, razumijevanje podataka, priprema podataka, modeliranje, procjena i razvoj. Neki drugi modeli procesa pretraživanja podataka opisuju tri faze: (1) pred-procesiranje,(2) pretraga podataka i (3)potvrda rezultata.
(1) Pred-procesiranje je nužno da bi se mogli analizirati različiti setovi (kompleti) podataka prije same pretrage. Prije nego što se algoritmi pretrage podataka mogu koristiti, mora se sastaviti set podataka koji će biti ciljani set. Budući da pretraživanje podataka može otkriti samo one uzorke, šablone koje već postoje, ciljani komplet podataka mora biti dovoljno velik da sadrži te šablone dok ostatak mora biti dovoljno sažet kako bi se mogao pronaći u odgovarajućem vremenu. Zajednički izvor podataka se naziva „skladište podataka“. Na kraju se brišu one šablone koje sadrže greške, koje ne dovode do traženog pojma ili dovode do podataka kojima nedostaju dijelovi. Skladište podataka može biti bilo koje veličine i stupnja kompleksnosti, ali glavno svojstvo kojim se odlikuje dobra kvaliteta skladišta jest brzina pristupa podacima (brzo ali i precizno izdvajanje i prikaz podataka) i mogućnost jednostavnog rukovanja podacima. Dobrim dizajnom skladišta podataka se povećava vrijednost baze podataka.
(2) Samo pretraživanje podataka uključuje četriri vrste zadataka: učenje pravila asocijacije, grupiranje, klasifikacija i regresija. Pojasnimo malo zadatke: Učenje pravila asocijacije- potraga za vezom između varijabli. Na primjer, supermarket može odrediti koji se proizvodi često kupuju zajedno te iskoristi tu informaciju za marketniške svrhe (analiza kupovne košarice). Grupiranje- otkrivanje grupa i struktura u podacima koje su na neki način slične, bez da se koriste već poznate strukture u podacima. Klasifikacija- poopćavanje poznate strukture kako bi se ona mogla primijeniti na nove podatke. Na primjer, neki program elektroničke pošte može pokušati klasificirati neku elektroničku poštu kao legitimnu ili kao bezvrijednu elektroničku poštu. Zajednički algoritmi uključuju: učenje drva spoznaje, najbližeg susjeda, naivnu klasifikaciju, neuralne mreže i potporni vektorski stroj. Regresija- pokušava se pronaći funkcija koja modelira podatke s najmanjom geškom.
(3)