Трибенк

мини|upright=1.35|десно|Већина синтаксичких трибенкова бележи варијанте или фразне структуре (лево) или зависне структуре (десно).

У лингвистици, трибенк (енгл. treebank, понекад и стаблотека или банка стабала) је парсирани (рашчлањени) текстуални корпус који анотира синтаксичку или семантичку структуру реченице. Изградња парсираних корпуса почетком 1990-их револуционизовала је рачунарску лингвистику, која је имала користи од емпиријских података великих размера.Alexander Clark, Chris Fox and Shalom Lappin (2010). The handbook of computational linguistics and natural language processing. Wiley.

Етимологија

Термин трибенк сковао је лингвиста Џефри Лич (енгл. Geoffrey Leech) 1980-их година, по аналогији са другим репозиторијумима као што су банка семена или банка крви. То је зато што се и синтаксичка и семантичка структура обично композиционо представљају као структура стабла. Термин парсирани корпус се често користи наизменично са термином трибенк, са нагласком на примат реченица у односу на стабла.

Конструкција

Трибенкови се често праве поврх корпуса који је већ анотиран ознакама за врсте речи (енгл. part-of-speech tags). Заузврат, трибенкови су понекад побољшани семантичким или другим лингвистичким информацијама. Трибенкови могу бити креирани потпуно ручно, где лингвисти свакој реченици додељују синтаксичку структуру, или полуаутоматски, где парсер додељује неку синтаксичку структуру коју лингвисти затим проверавају и, ако је потребно, исправљају. У пракси, потпуна провера и довршавање парсирања корпуса природног језика је радно интензиван пројекат који тимовима дипломираних лингвиста може одузети неколико година. Ниво детаља анотације и ширина лингвистичког узорка одређују тежину задатка и дужину времена потребног за изградњу трибенка.

Неки трибенкови следе специфичну лингвистичку теорију у својој синтаксичкој анотацији (нпр. BulTreeBank следи HPSG), али већина покушава да буде мање специфична за одређену теорију. Међутим, могу се разликовати две главне групе: трибенкови који анотирају фразну структуру (на пример Penn Treebank или ICE-GB) и они који анотирају зависну структуру (на пример Prague Dependency Treebank или Quranic Arabic Dependency Treebank).

Важно је разјаснити разлику између формалне репрезентације и формата датотеке који се користи за складиштење анотираних података. Трибенкови су нужно конструисани према одређеној граматици. Иста граматика може бити имплементирана различитим форматима датотека. На пример, синтаксичка анализа за Џон воли Мери, приказана на слици десно/горе, може бити представљена једноставним означеним заградама у текстуалној датотеци, овако (према нотацији Penn Treebank-а):

(S (NP (NNP John)) (VP (VPZ loves) (NP (NNP Mary))) (. .))

Ова врста репрезентације је популарна јер је неохтевна према ресурсима, а структуру стабла је релативно лако читати без софтверских алата. Међутим, како корпуси постају све сложенији, могу се преферирати други формати датотека. Алтернативе укључују XML шеме специфичне за трибенкове, нумерисано увлачење и различите врсте standoff нотације.

Примене

Из перспективе рачунарске лингвистикеHaitao Liu, Wei Huang — A Chinese Dependency Syntax for Treebanking, published by Communication University of China, published (online) by the Association for Computational Linguistics - accessed 4. 2. 2020., трибенкови су коришћени за инжењеринг најсавременијих система за обраду природног језика као што су тагери врста речи, парсери, семантички анализатори и системи за машинско превођење. Већина рачунарских система користи податке из трибенкова златног стандарда (енгл. gold-standard). Међутим, аутоматски парсиран корпус који нису исправили људски лингвисти и даље може бити користан. Може пружити доказе о учесталости правила за парсер. Парсер се може побољшати његовом применом на велике количине текста и прикупљањем учесталости правила. Међутим, требало би бити очигледно да је само процесом ручног исправљања и довршавања корпуса могуће идентификовати правила која недостају у бази знања парсера. Поред тога, вероватно је да ће фреквенције бити тачније.

У корпусној лингвистици, трибенкови се користе за проучавање синтаксичких феномена (на пример, дијахронијски корпуси се могу користити за проучавање временског тока синтаксичке промене). Када се парсира, корпус ће садржати доказе о учесталости који показују колико су различите граматичке структуре уобичајене у употреби. Трибенкови такође пружају доказе о покривености и подржавају откривање нових, непредвиђених, граматичких феномена.

Још једна употреба трибенкова у теоријској лингвистици и психолингвистици је доказ интеракције. Завршени трибенк може помоћи лингвистима да спроведу експерименте о томе како одлука да се користи једна граматичка конструкција има тенденцију да утиче на одлуку да се формирају друге, и да покушају да разумеју како говорници и писци доносе одлуке док формирају реченице. Истраживање интеракција је посебно плодно када се корпусу додају даљи слојеви анотације, нпр. семантички, прагматички. Тада је могуће проценити утицај несинтаксичких феномена на граматичке изборе.

У лингвистичким истраживањима, анотирани подаци из трибенкова су коришћени у синтаксичким истраживањима за тестирање лингвистичких теорија структуре реченице у односу на велике количине примера који се природно јављају.

Семантички трибенкови

Семантички трибенк је колекција реченица природног језика анотираних репрезентацијом значења. Ови ресурси користе формалну репрезентацију семантичке структуре сваке реченице. Семантички трибенкови варирају у дубини своје семантичке репрезентације. Значајан пример дубоке семантичке анотације је Groningen Meaning Bank , развијен на Универзитету у Гронингену и анотиран коришћењем Теорије репрезентације дискурса. Пример плитког семантичког трибенка је PropBank, који пружа анотацију глаголских пропозиција и њихових аргумената, без покушаја да представи сваку реч у корпусу у логичкој форми.

Језик Трибенк Семантички формализам Дистрибуција / Лиценца Кинески Chinese Universal Propositions PropBank семантика Слободна (CC BY-NC-SA 3.0 US) Енглески Abstract Meaning Representation (AMR) Bank Дубока семантика Непознато Енглески FrameNet Плитка семантика Непознато Енглески Universal Conceptual Cognitive Annotation (UCCA) Дубока семантика Непознато Енглески Robot Commands Treebank Kais Dukes (2013) Semantic Annotation of Robotic Spatial Commands . Language and Technology Conference (LTC). Poznan, Poland. Дубока семантика Непознато Енглески Groningen Meaning Bank Дубока семантика Непознато (различите лиценце) Енглески Parallel Meaning Bank Дубока семантика Непознато (различите лиценце) Холандски Parallel Meaning Bank Дубока семантика Непознато (различите лиценце) Немачки Parallel Meaning Bank Дубока семантика Непознато (различите лиценце) Италијански Parallel Meaning Bank Дубока семантика Непознато (различите лиценце) Енглески DeepBank project Дубока семантика Непознато Енглески Treebank Semantics Parsed Corpus Дубока семантика Непознато Енглески RoboCup Corpus Дубока семантика Непознато Енглески Geoquery Дубока семантика Непознато Енглески PropBank PropBank семантика Непознато (различите лиценце) Фински Finnish Universal Propositions PropBank семантика Слободна (CC BY-NC-SA 3.0 US) Фински Finnish PropBank PropBank семантика Слободна (CC BY-SA 4.0) Француски French Universal Propositions PropBank семантика Слободна (CC BY-NC-SA 3.0 US) Немачки German Universal Propositions PropBank семантика Слободна (CC BY-NC-SA 3.0 US) Италијански Italian Universal Propositions PropBank семантика Слободна (CC BY-NC-SA 3.0 US) Португалски Portuguese PortLex PropBank семантика Непознато Португалски Portuguese Universal Propositions PropBank семантика Слободна (CC BY-NC-SA 3.0 US) Шпански Spanish Universal Propositions PropBank семантика Слободна (CC BY-NC-SA 3.0 US) Турски Turkish PropBank PropBank семантика Слободна (CC BY-NC-SA 4.0)

Синтаксички трибенкови

Многи синтаксички трибенкови су развијени за широк спектар језика:

Трибенк

Źródło i licencja