Дельта Берроуза – це статистичний метод багатовимірного аналізу даних, що використовується в стилеметрії для встановлення авторства текстів. Метод заснований на порівнянні частот вживання найбільш поширених слів у текстах і обчислення відстані між ними.
Історія Метод був запропонований австралійським вченим Джоном Берроузом у 2002 році. Відтоді він став одним із найбільш вживаних і надійних стандартів для визначення авторства.
Основний принцип На відміну від методу хі-квадрат, який зазвичай порівнює два тексти, метод дельти дозволяє одночасно порівнювати анонімний текст із корпусами текстів багатьох авторів.
Основна ідея полягає в тому, що автори мають ідіосинкратичні звички використання мови, які залишаються відносно постійними. Дельта вимірює, наскільки анонімний текст відхиляється від середнього значення (нормалізованої частоти) всіх авторів у дослідженні.
Алгоритм обчислення
Формується корпус текстів відомих авторів. Обирається n найбільш частотних слів у всьому корпусі. Рахується відносна частота кожного слова-ознаки у кожного автора. Обчислюється середнє значення μ та стандартне відхилення σ для кожної ознаки. Потім частоти перетворюються на z-оцінки за формулою: , де – спостережувана частота слова. Вимірюється сума абсолютних різниць між z-оцінками анонімного тексту () та тексту автора (), поділена на кількість ознак: .
У результаті чим менша сума (відстань), тим вища ймовірність спільного авторства.
Метрики Класична дельта базується на мангеттенській відстані, проте розвиток стилеметрії призвів до появи й інших варіацій:
Евклідова дельта базується на квадраті евклідової відстані між векторами стандартизованих частот. Косинусна дельта вимірює косинус кута між векторами текстів у багатовимірному просторі.
Ефективність У сучасній лінгвістиці великі мовні моделі здатні виконувати майже всі завдання з обробки тексту і атрибуція авторства не є виключенням. Проте перевірені роками методи, як дельта Берроуза, залишаються вартими застосування і найкраще їх використовувати у межах гібридних систем разом із ВММ. Такий підхід дозволяє поєднати обчислювальну потужність і універсальність сучасних технологій із математичною точністю класичної стилеметрії.
Джерела
Burrows J. (2002). Delta: a Measure of Stylistic Difference and a Guide to Likely Authorship. Literary and Linguistic Computing, 17(3), 267-287. Evert S., Proisl T., Jannidis F., Pielström S., Schöch C. & Vitt T. (2015). Towards a better understanding of Burrow's Delta in literary autorship attribution. Proceedings of NAACL-HLT, 79-88.