Mineritul textelor (din engleză, text mining, text data mining sau text analytics) este procesul de extragere a unor informații de înaltă calitate și necunoscute anterior din texte nestructurate. Acest domeniu implică descoperirea automată, prin intermediul computerului, a unor date și asocieri din diverse resurse scrise, cum ar fi site-uri web, cărți, e-mailuri, recenzii și articole științifice. Obținerea informațiilor relevante și valoroase se realizează de obicei prin identificarea de tipare și tendințe cu ajutorul unor tehnici precum învățarea statistică a modelelor. Mineritul de texte combină elemente de extragere a informațiilor, minerit de date și descoperire a cunoștințelor în baze de date. Scopul principal este transformarea textului liber în date gata pentru analiză, aplicând algoritmi și metode de procesare a limbajului natural (NLP).
Conceptul de „analiză a textelor” (text analytics) descrie un set de tehnici lingvistice, statistice și de învățare automată care modelează și structurează conținutul surselor textuale pentru informații de afaceri, cercetare sau explorare a datelor. Adesea folosit ca sinonim pentru mineritul de texte, termenul de analiză a textelor este preferat în mediul corporativ, în timp ce primul termen are o istorie mai lungă în aplicațiile academice și guvernamentale. Aceste tehnici sunt esențiale deoarece se estimează că aproximativ 80% din informațiile relevante pentru o organizație se regăsesc sub formă nestructurată. Fără aceste metode, cunoștințele valoroase, precum fapte, reguli de afaceri și relații ascunse, ar rămâne inaccesibile procesării automate.
Procesul de analiză Procesul de analiză a textelor este compus din mai multe etape și subsarcini complexe. Totul începe cu regăsirea informațiilor, o etapă pregătitoare în care se colectează și se identifică seturi de materiale textuale de pe internet, din sisteme de fișiere sau din baze de date. Urmează procesarea prealabilă, care aplică metode avansate de procesare a limbajului natural, cum ar fi etichetarea părților de vorbire, analiza sintactică și reducerea dimensionalității (pentru a izola rădăcina cuvintelor și a reduce volumul datelor).
O componentă critică a analizei este recunoașterea entităților cu nume, unde algoritmii folosesc tehnici statistice pentru a identifica trăsături textuale specifice precum nume de persoane, organizații, locații, abrevieri sau numere de telefon. De asemenea, sistemele efectuează dezambiguizarea termenilor pe baza indiciilor contextuale și realizează rezolvarea coreferințelor pentru a asocia corect pronumele sau termenii diferiți care se referă la același obiect. Alte etape esențiale includ gruparea documentelor similare (clustering), extragerea relațiilor și a faptelor dintre entități, precum și analiza sentimentelor. Prin intermediul analizei sentimentelor, sistemul evaluează atitudinile, opiniile și emoțiile exprimate în text, reușind să distingă stările de spirit ale publicului sau ale clienților față de anumite concepte, evenimente ori produse.
Aplicații principale Tehnologia de minerit al textelor este aplicată la scară largă pentru a răspunde unor nevoi critice din sectorul guvernamental, de afaceri și cel academic. În domeniul securității naționale și al serviciilor de informații (intelligence), pachetele software monitorizează surse online precum bloguri, știri și rețele sociale pentru a identifica tipare suspecte sau pentru a asista în criptarea și decriptarea documentelor textuale.
În științele biomedicale, aplicațiile sunt deosebit de diverse și revoluționare. Acestea variază de la asistența computațională în studiile de andocare a proteinelor și analiza interacțiunilor complexe dintre acestea, până la evaluarea literaturii de specialitate pentru descoperirea asocierilor dintre anumite proteine și boli. În context clinic practic, extragerea automată a datelor din cantități vaste de dosare medicale nestructurate facilitează identificarea rapidă a simptomelor, a efectelor secundare sau a comorbidităților pacienților, susținând astfel progresul medicinei de precizie.
În mediul de afaceri și marketing, analiza textelor a devenit o resursă esențială pentru managementul relațiilor cu clienții (CRM). Prin intermediul acestor tehnici, companiile creează modele predictive capabile să evalueze gradul de satisfacție și să anticipeze riscul de pierdere a clienților (churn prediction), plecând pur și simplu de la extragerea informațiilor din e-mailuri, plângeri sau conversații online. Metodele sunt folosite de marile companii media pentru a îmbunătăți funcțiile de căutare și indexare pe paginile lor, dar și în sectorul financiar pentru a prezice randamentele bursiere în funcție de fluctuațiile sentimentului pieței regăsite în mediul digital.
Legislație și drepturi de autor Aspectele legale și drepturile de autor sunt elemente cheie care reglementează dezvoltarea tehnologiilor de minerit al textelor. În Uniunea Europeană, prelucrarea și extragerea de texte și date (TDM) din lucrări protejate de drepturi de autor este permisă fără a necesita permisiunea explicită a proprietarului, atâta timp cât se realizează în scopul cercetării științifice. Această reglementare este prevăzută în articolele 3 și 4 din Directiva privind drepturile de autor pe piața unică digitală adoptată în 2019, atâta timp cât deținătorii drepturilor nu au optat în mod explicit pentru excludere.
Prin contrast, legislația din Statele Unite ale Americii abordează problema din perspectiva utilizării rezonabile (fair use). Întrucât tehnologia de text mining este considerată un proces cu rol transformativ, care nu suplinește și nici nu înlocuiește opera originală pe piață, instanțele au considerat-o o practică legală. Un exemplu relevant în acest sens a fost victoria obținută în urma proiectului de digitalizare masivă a cărților, derulat prin inițiativa Google Books, unde judecătorii au subliniat valoarea transformativă adusă de indexarea datelor.
Note
Vezi și Analiza datelor Extragerea de cunoștințe din date Extragerea entităților
Legături externe
Categorie:Lingvistică computațională Categorie:Prelucrarea datelor