Видобування знань (, ) є створення знань зі структурованих (реляційних баз даних, XML) і неструктурованих (тексти, документи, ) джерел. Отримане знання повинно бути збережене у форматі, придатному для автоматичного читання та інтерпретації. Також знання повинні бути представлені таким чином, щоб полегшити логічний висновок. Попри те, що це методично схоже на видобування інформації (, NLP) і ETL (зберігання даних), основними критеріями є те, що результат видобування виходить за рамки створення структурованої інформації або перетворення її в реляційну схему. Це вимагає або повторного використання наявних формальних знань (повторне використання ідентифікаторів або онтологій), або генерацію схеми на основі вихідних даних.
Група RDB2RDF W3C в даний час стандартизує мову для видобутку RDF () з реляційних баз даних. Ще одним популярним прикладом видобутку знань є перетворення Вікіпедії в структуровані дані, а також відображення до наявних знань (див. DBpedia і Freebase).
Огляд Після стандартизації мов представлення знань, таких як RDF і OWL, багато досліджень було проведено в області, особливо щодо перетворення реляційних баз даних в RDF, задачі ідентифікації, виявлення знань і навчання онтологій. Загальний процес використовує традиційні методи добування даних, виймання, перетворення і завантаження (ETL), які перетворюють дані з джерел у структуровані формати.
Наступні критерії можуть бути використані для класифікації підходів в цій темі (деякі з них використовуються лише для видобутку з реляційних баз даних): LOD2 EU Deliverable 3.1.1 Knowledge Extraction from Structured Sources http://static.lod2.eu/Deliverables/deliverable-3.1.1.pdf ДжерелоДжерела даних, які використовуються: Текст, реляційні бази даних, XML, CSVЕкспозиціяВ якому вигляді добуваються дані? (файл онтології, семантична база даних)? Як можна зробити запит?СинхронізаціяЧи виконується процес видобутку знань один раз для отримання дампа або результат синхронізується з джерелом? Статична або динамічна синхронізація. Чи записуються зміни результатів назад (двонаправлена синхронізація)Повторне використання словниківІнструмент здатний повторно використовувати наявні словники при видобутку. Наприклад, стовпчик таблиці 'FirstName' можуть бути зіставленні з foaf:firstName. Деякі автоматичні підходи не здатні зіставляти словники.АвтоматизаціяСтупінь, в якій видобуток вимагає втручання/автоматизований. Допомога оператора, GUI, напівавтоматичний, автоматичний.Потрібна онтологія предметної областіПотрібно побудувати відображення у вже задану онтологію. Так чином, що або створюється відображення або отримується схема з джерела ().
Приклади
Зв'язування об'єктів DBpedia Spotlight, , Dandelion dataTXT, Zemanta API, Extractiv та PoolParty Extractor аналізують вільний текст через розпізнавання іменованих сутностей, а потім усуває неоднозначність кандидатів через та пов'язує знайдені об'єкти зі сховищем знань DBpedia (див. демо Dandelion dataTXT, DBpedia Spotlight або PoolParty Extractor). Президент Обама у середу закликав Конгрес продовжити податкові пільги для студентів, включених до економічних стимулів у минулому році, стверджуючи, що політика забезпечує більш щедру допомогу. Як президент Обама пов'язаний з ресурсом DBpedia , додаткова інформація може бути отримана автоматично і може, наприклад, зробити висновок, що згадана особа має тип особи (з використанням FOAF (програмне забезпечення)) і президентів типу Сполучених Штатів (за допомогою YAGO). Приклади: Методи, які розпізнають тільки об'єкти або посилання на статті Вікіпедії та інших цілей, які не забезпечують подальше вилучення структурованих даних і формальних знань.
Реляційні бази даних в RDF Triplify, D2R сервера, Ultrawrap і Virtuoso RDF Перегляди інструментів, які трансформують реляційні баз даних RDF. В ході цього процесу вони дозволяють повторно використовувати існуючі словники і онтології в процесі перетворення. При перетворенні типових реляційних таблиць з ім'ям користувачів, один стовпець (наприклад «.name») або сукупність стовпців (наприклад «.first_name» і «last_name») повинен надати URI створеного об'єкта. Зазвичай використовується первинний ключ. Кожен другий стовпець може бути залучен як відношення з цією організацією. Потім використовуються властивості з формально визначеною семантикою (і повторно) інтерпретувати інформацію. Наприклад, стовпець в таблиці користувача з ім'ям marriedTo може бути визначена як симетричне відношення і стовпчик homepage може бути перетворений у власність від FOAF Словник називається FOAF: головна сторінка, таким чином, кваліфікує його як функціональна властивість зворотного. Потім кожен запис таблиці користувача може бути екземпляром класу FOAF: Людина (Онтологія населення). Крім знання предметної області (у формі онтології) можуть бути створені з status_id, або створених вручну правил (якщо status_id 2, запис відноситься до класу Вчителі), або (semi) -автоматичні методи (онтологія навчання). Ось приклад перетворення: Ім'яодруженийдомашня сторінкастатус Peter Mary http://example.org/Peters_page 1 Claus Eva http://example.org/Claus_page 2 :Peter :marriedTo :Mary . :marriedTo a owl:SymmetricProperty . :Peter foaf:homepage <http://example.org/Peters_page> . :Peter a foaf:Person . :Peter a :Student . :Claus a :Teacher .
Витяг з структурованих джерел в RDF
1: 1 Відображення з таблиць БД / Види на RDF Entities / Властивості / Значення При створенні вистави RDB в проблемній області, відправною точкою часто є сутність-зв'язок діаграма (ERD). Як правило, кожним об'єктом представленому у вигляді таблиці бази даних, кожний атрибут сутності стає стовпець в цій таблиці, і відносини між об'єктами позначаються зовнішніми ключами. Кожна таблиця, як правило, визначає конкретний клас суті, кожен стовпець один з його атрибутів. Кожен рядок в таблиці описує екземпляр сутності, однозначно ідентифікується первинним ключем. Рядки таблиці в сукупності описують набір сутностей. В еквівалентній RDF представлення одного і того ж набору сутностей: Кожен стовпець у таблиці є атрибутом (тобто предикат) Кожне значення стовпця є значення атрибута (тобто об'єкт) Кожна клавіша рядок являє собою ідентифікатор об'єкта (тобто суб'єкт) Кожен рядок є екземпляром сутності Кожен рядок (екземпляр об'єкта) представлена в RDF колекцією трійок із загальним суб'єктом (ідентифікатор об'єкта) Таким чином, щоб зробити еквівалентне уявлення на основі RDF семантики, основне відображення алгоритму буде виглядати наступним чином: створити RDFS клас для кожної таблиці конвертувати всі первинні ключі та зовнішні ключі в IRIs призначити предикат IRI для кожного стовпчика призначити РДФ: тип предиката для кожного рядка, пов'язуючи його з ІСС класу IRI відповідає таблиці для кожного стовпчика, який не є ні частиною первинного або зовнішнього ключа, побудувати потрійний, який містить первинний ключ IRI як суб'єкта, стовпець IRI як предиката і значення стовпця як об'єкт. Найперша згадка цього основного або прямого відображення можна знайти в порівнянні Тім Бернерс-Лі моделі ER до моделі RDF. .
Складні відображення реляційних баз даних в RDF 1: 1 згадуване вище надає застарілі дані у вигляді RDF прямим шляхом, додаткові уточнення можуть бути використані для підвищення корисності RDF виведення відповідного до Use Cases. Як правило, втрачається інформація в процесі перетворення в сутність-зв'язок діаграми (ERD) для реляційних таблиць (подробиці можна знайти в об'єктно-реляційному імпедансі) і повинна бути зворотня інженерія. З концептуальної точки зору, підходи до видобутку можуть надходити з двох напрямків. Перший напрямок намагається витягти або дізнатися-схему OWL з даної схеми бази даних. Ранні підходи використовували фіксовану кількість створених вручну правил відображення для уточнення відображення 1:1. Більш складні методи з використанням евристики або алгоритмів навчання, щоб викликати схематичну інформацію (методи перекриватися з навчанням онтологій). У той час як деякі підходи намагаються витягти інформацію зі структури, властивої схемою SQL (аналізуючи наприклад, зовнішні ключі), інші аналізують зміст і значення в таблицях для створення концептуальних ієрархій (наприклад, стовпці з декількома значеннями є кандидатами для становлення категорії), Другий напрямок намагається відобразити схему і його вміст вже існуючої онтології предметної області (дивись також: вирівнювання онтології). Часто, однак, відповідна онтологія не існує, і повинен бути створений першим.
XML Так як XML структурована у вигляді дерева, будь-які дані можуть бути легко представлені в RDF, який структурований у вигляді графіка. XML2RDF є одним із прикладів такого підходу, який використовує RDF порожні вузли і перетворює XML-елементи і атрибути властивостей RDF. Тема, однак, є більш складним, як і в разі реляційних баз даних. У реляційної таблиці первинний ключ є ідеальним кандидатом, щоб стати предметом здобутих трійок. XML-елемент, однак, можуть бути перетворені — в залежності від контексту — як суб'єкт, предикат або об'єкт потрійний. XSLT може бути використаний стандартний мову перетворення вручну перетворити XML в RDF.
Огляд методів / Інструменти Name Data Source Data Exposition Data Synchronisation Mapping Language Vocabulary Reuse Mapping Automat. Req. Domain Ontology Uses GUI A Direct Mapping of Relational Data to RDF Relational Data SPARQL/ETL dynamic N/A false automatic false false CSV2RDF4LOD CSV ETL static RDF true manual false false Convert2RDF Delimited text file ETL static RDF/DAML true manual false true D2R Server RDB SPARQL bi-directional D2R Map true manual false false DartGrid RDB own query language dynamic Visual Tool true manual false true DataMaster RDB ETL static proprietary true manual true true Google Refine's RDF Extension CSV, XML ETL static none semi-automatic false true Krextor XML ETL static xslt true manual true false MAPONTO RDB ETL static proprietary true manual true false METAmorphoses RDB ETL static proprietary xml based mapping language true manual false true MappingMaster CSV ETL static MappingMaster true GUI false true ODEMapster RDB ETL static proprietary true manual true true OntoWiki CSV Importer Plug-in — DataCube & Tabular CSV ETL static The RDF Data Cube Vocaublary true semi-automatic false true Poolparty Extraktor (PPX) XML, Text LinkedData dynamic RDF (SKOS) true semi-automatic true false RDBToOnto RDB ETL static none false automatic, the user furthermore has the chance to fine-tune results false true RDF 123 CSV ETL static false false manual false true RDOTE RDB ETL static SQL true manual true true Relational.OWL RDB ETL static none false automatic false false T2LD CSV ETL static false false automatic false false The RDF Data Cube Vocabulary Multidimensional statistical data in spreadsheets Data Cube Vocabulary true manual false TopBraid Composer CSV ETL static SKOS false semi-automatic false true Triplify RDB LinkedData dynamic SQL true manual false false Ultrawrap RDB SPARQL/ETL dynamic R2RML true semi-automatic false true Virtuoso RDF Views RDB SPARQL dynamic Meta Schema Language true semi-automatic false true Virtuoso Sponger structured and semi-structured data sources SPARQL dynamic Virtuoso PL & XSLT true semi-automatic false false VisAVis RDB RDQL dynamic SQL true manual true true XLWrap: Spreadsheet to RDF CSV ETL static TriG Syntax true manual false false XML to RDF XML ETL static false false automatic false false
Витяг з природних джерел мови