Rozwój tych nowych systemów pogłębił dyskusję na temat tego, w jakim stopniu LLM-y rozumieją wiedzę, a w jakim tylko ją „powtarzają”.

Subiektywne doświadczenia W umyśle człowieka słowa i język odpowiadają rzeczom, których doświadczył. W przypadku LLMów słowa mogą odpowiadać wyłącznie innym słowom i wzorcom użycia wprowadzonym do danych treningowych. Zwolennicy teorii papug stochastycznych dochodzą zatem do wniosku, że LLMy nie są w stanie faktycznie rozumieć języka.

Halucynacje Potwierdza się tendencję LLMów do przedstawiania fałszywych informacji jako faktów. Halucynacje to zjawisko,generowania informacji pasujących do pewnego wzorca, ale nie do rzeczywistości. Fakt, że LLMy nie potrafią odróżnić faktów od fikcji, prowadzi do twierdzenia, że nie potrafią połączyć słów ze zrozumieniem świata, co powinno być cechą języka.

Benchmarki i eksperymenty Jednym z argumentów przeciwko hipotezie, że LLM-y są stochastycznymi papugami, są ich wyniki w benchmarkach dotyczących rozumowania, zdrowego rozsądku i rozumienia języka. W 2023 niektóre LLMy uzyskały dobre wyniki w wielu testach rozumienia języka, takich jak Super General Language Understanding Evaluation (SuperGLUE).