Лексичний добір або підбір – це одна з підзадач генерації природної мови, яка включає вибір змістовно підходящих слів (іменників, недопоміжних дієслів, прикметників та прислівників) у згенерованому тексті. Функціональні слова (наприклад, визначники) зазвичай обираються під час реалізації .

Приклади Найпростіший тип лексичного підбору передбачає зіставлення поняття (ідеї) певної предметної області (можливо, представленого в онтології) із відповідним словом. Наприклад, поняття «Око» може бути зіставлене зі словом «око».

Складніша ситуація виникає, коли поняття (ідея) виражається за допомогою різних слів у різних контекстах. Наприклад, поняття «Зміна» може бути виражене багатьма способами:

Перетворення енергії: концепція «зміни» форми енергії, її обернення на щось інше позначається словом «перетворення». Трансформація суспільства: певна «зміна» в суспільстві та його ідеях виражається словом «трансформація», як зміна істотних властивостей чогось. Переломний момент в історії: «переломом» ми називаємо різку або критичну «зміну».

Іноді слова можуть передавати додаткову контекстуальну інформацію, наприклад:

Збій у системі: слово «збій» позначає саме ту «зміну», яка є негативною, тобто надає емоційного контексту.

Контекстуальна інформація є особливо важливою для абстрактних термінів, які мають відповідне значення тільки в певному контексті, таких як «високий». Наприклад, чоловік зростом 2 метри — високий, але кінь зростом 2 метри — маленький .

Лінгвістична перспектива Модулі лексичного добору повинні бути обґрунтовані лінгвістичними знаннями про те, як вхідні дані системи відображаються на самих словах. Це питання семантики, але на нього також впливають синтаксичні фактори (такі як ефекти колокації) та прагматичні фактори (контекст).

Отже, NLG-системам потрібні лінгвістичні моделі того, як саме значення співставляється з відповідними словами в конкретній цільовій області NLG-системи. Галузь, як правило, є дуже важливою; наприклад, слово «модель» може мати як значення комп'ютерної моделі в інформатиці, так і значення певної категорії техніки, і генератор, що націлений на галузь інформатики, повинен знати про це жанрово-специфічне значення.

У деяких випадках існують суттєві відмінності у тому, як різні люди використовують одне й те саме слово; E Reiter and S Sripada (2002). Human Variation and Lexical Choice. Computational Linguistics 28:545-553. наприклад, деякі люди використовують слово «ввечері» у значенні «шоста година», а інші — у значенні «далеко за восьму годину». Психолінгвісти показали, що коли люди розмовляють один з одним, вони несвідомо домовляються про спільне тлумачення за допомогою лексичного вирівнюванняS Brennan and H Clark (1996). Conceptual Pacts and Lexical Choice in Conversation. Journal of Experimental Psychology: Learning, Memory, and Cognition 22:1482-1493 — це те, що системи NLG поки не можуть зробити.

Зрештою, лексичний добір має вирішувати фундаментальне питання про те, як мова співвідноситься з нелінгвістичним світом. D Roy and E Reiter (2005). Connecting Language to the World. Artificial Intelligence 167:1-12. Наприклад, система, яка підбирає терміни на позначення кольору, як, наприклад, червоний, для опису об'єктів на цифровому зображенні, повинна знати, які саме значення пікселів RGB загалом можна описати як червоні, як на це впливає візуальний (освітлення, інші об'єкти в сцені) та лінгвістичний (інші обговорювані об'єкти) аспекти, які прагматичні конотації пов'язані з кольором червоний (наприклад, коли яблуко називають червоним, часто мається на увазі, що воно стигле і має червоний колір), тощо.

Алгоритми та моделі Серед дослідників була розроблена низка алгоритмів та моделей для лексичного добору,Perera, R. and Nand, P 2015. A Multi-Strategy Approach for Lexicalizing Linked Open Data. наприклад, Ф. Едмондс розробив модель для вибору між майже синонімами (словами зі схожими основними значеннями, але різними конотаціями).P Edmonds and G Hirst (2002). Near-Synonymy and Lexical Choice. Computational Linguistics 28:105-144. Однак такі алгоритми та моделі не отримали широкого застосування в прикладних системах NLG, натомість такі системи часто використовували досить прості обчислювальні моделі та інвестували зусилля в лінгвістичний аналіз замість розробки алгоритмів.

Джерела