Duży model językowy (, ) – model językowy wyszkolony na dużej ilości danych umożliwiający generowanie tekstu oraz realizację zadań związanych z przetwarzaniem języka naturalnego. Modele są szkolone w ramach samonadzorowanego lub słabo nadzorowanego uczenia maszynowego z wykorzystaniem dużych ilości danych tekstowych. Proces ten jest intensywny obliczeniowo. Duże modele językowe mogą być wykorzystywane do generowania tekstu poprzez wielokrotne przewidywanie następnego tokenu lub słowa, przez co zaliczane są do generatywnej sztucznej inteligencji.

Duże modele językowe są sieciami neuronowymi. Największe i najbardziej zdolne modele językowe oparte są na architekturze transformerów.

Przykładami dużych modeli językowych są modele z serii zbudowane przez OpenAI (np. , ), używane w chatbotach ChataGPT i Microsoft Copilot, a także modele Llama zbudowane przez Meta Platforms. Istnieją również chińskie modele jak DeepSeek czy polskie jak Bielik i PLLuM.

Historia Przed rokiem 2017 istniało kilka modeli językowych, które — jak na ówczesne możliwości — były uważane za duże. W latach 90. modele IBM pozwoliły na rozwinięcie się metod statystycznego modelowania języka. W 2001 roku model bazujący na -gramach został wytrenowany na 300 milionach słów. W latach dwutysięcznych, wraz z popularyzacją Internetu, rozpoczęto tworzenie zbiorów językowych o skali porównywalnej z Internetem, na bazie których podjęto próby uczenia statystycznych modeli językowych.

Po tym, jak sieci neuronowe stały się popularne w przetwarzaniu obrazów około 2012 roku, zaczęto je również stosować do przetwarzania tekstu. W 2016 roku Google wprowadziło w Tłumaczu Google swój model językowy oparty na głębokiej sieci LSTM.

mały|Wykres pokazujący łączną ilość obliczeń (we FLOP-sach) wymaganą do wytrenowania modelu w kolejnych latach dla wybranych dużych modeli AI. Większość dużych modeli to modele językowe lub mutlimodalne ze zdolnościami przetwarzania języka W 2017 roku naukowcy z Google zaproponowali architekturę transformera opartą na mechanizmie uwagi opracowanym w 2014 roku. W 2018 roku Google wypuściło model BERT oparty wyłącznie na koderach transformera. Od 2023 roku akademickie i badawcze zainteresowanie BERT-em zaczęło stopniowo maleć na rzecz modeli opartych na dekoderach transformera jak GPT.

Od 2022 roku zyskują na popularności modele o otwartym kodzie źródłowym – początkowo za sprawą projektów takich jak BLOOM i Llama, choć oba objęte są ograniczeniami dotyczącymi zakresu zastosowań. Modele Mistral AI udostępnione zostały na bardziej liberalnej licencji Apache.

Od 2023 roku wiele modeli ma charakter multimodalny, co oznacza, że potrafią analizować i generować różne typy danych, takie jak tekst, obrazy czy dźwięk.

W 2024 roku OpenAI wydało model rozumujący OpenAI o1, który generował długie łańcuchy myśli przed zwróceniem ostatecznej odpowiedzi. W styczniu 2025 roku firma DeepSeek wypuściła w formie otwartego kodu model DeepSeek R1, mający 671 miliardów parametrów. Jego wydajność jest porównywalna z modelem OpenAI o1, przy znacznie niższych kosztach eksploatacji.

W roku 2024 największe i najbardziej zaawansowane modele językowe oparte są na architekturze transformera. Niektóre nowsze implementacje wykorzystują jednak inne podejścia, takie jak rekurencyjne sieci neuronowe (RNN) czy .

Trenowanie i architektura

Wzmacnianie z informacją zwrotną od człowieka Uczenie się przez wzmacnianie z informacją zwrotną od człowieka (RLHF) to metoda umożliwiająca dostosowanie działania modelu językowego do ludzkich oczekiwań. Preferencje użytkowników definiuje się poprzez trenowanie tzw. modelu nagród, który następnie służy do dalszego uczenia modelu językowego z wykorzystaniem algorytmów uczenia przez wzmacnianie takich jak proximal policy optimization (PPO).

Mieszanka ekspertów

Największe modele językowe bywają zbyt kosztowne w trenowaniu i bezpośrednim zastosowaniu. Dlatego coraz częściej stosuje się podejście mieszanki ekspertów (ang. Mixture of Experts, MoE). MoE to technika, która dzieli przestrzeń problemu między wiele wyspecjalizowanych sieci przez co inferencja aktywuje tylko te części sieci, które są najbardziej odpowiednie, a sama metoda jest zaliczana do metod uczenia zespołowego.

Dostrajanie na podstawie instrukcji Duże modele językowe uczą się generować poprawne odpowiedzi i zastępować naiwne uzupełnienia dzięki kilku wstępnym korektom wprowadzonym przez człowieka oraz zastosowaniu podejścia self‑instruct. Na przykład w odpowiedzi na polecenie: „Napisz esej na temat głównych motywów przedstawionych w Hamlecie” model mógłby najpierw wygenerować: „Jeśli oddasz esej po 17 marca, Twoja ocena zostanie obniżona o 10% za każdy dzień opóźnienia”, bazując na częstotliwości takiego ciągu w korpusie.

Koszt mały|Szacunkowy koszt trenowania wybranych modeli AI Trenowanie i działanie dużych modeli językowych zazwyczaj wymaga ogromnej mocy obliczeniowej i zużycia energii, co rodzi pytania dotyczące wpływu na środowisko.

Rozumowanie

Pod koniec 2024 roku w rozwoju dużych modeli językowych pojawił się nowy kierunek, skoncentrowany na zadaniach wymagających złożonego rozumowania. Modele tego typu, określane jako „modele rozumujące”, zostały wytrenowane tak, aby poświęcać więcej czasu na generowanie rozwiązań krok po kroku (ang. chain-of-thought) przed udzieleniem odpowiedzi końcowej – w sposób zbliżony do ludzkiego procesu rozwiązywania problemów. Trend ten zapoczątkowała firma OpenAI, wprowadzając we wrześniu 2024 roku model o1, a następnie model o3 w grudniu 2024. W porównaniu z tradycyjnymi LLM-ami, nowe modele wykazywały znaczną poprawę wyników w zadaniach z matematyki, nauk ścisłych oraz programowania. Przykładowo, na zadaniach z eliminacji do Międzynarodowej Olimpiady Matematycznej model GPT-4o uzyskał 13% skuteczności, podczas gdy model o1 osiągnął aż 83%.

W styczniu 2025 roku chińska firma DeepSeek przedstawiła model DeepSeek‑R1 — model rozumowania o otwartych wagach, posiadający 671 miliardów parametrów, który osiągnął wyniki porównywalne do modelu o1 firmy OpenAI, przy znacznie niższych kosztach operacyjnych. W przeciwieństwie do zastrzeżonych modeli OpenAI, otwarta architektura DeepSeek‑R1 umożliwiła badaczom analizę i dalszy rozwój algorytmu, choć dane treningowe pozostały nieupublicznione.

Modele rozumujące z reguły mają większe wymagania obliczeniowe w porównaniu z tradycyjnymi modelami LLM. Wynika to z tego, że model tego typu musi generować wiele odpowiedzi dla każdego kroku. Z drugiej strony modele tego typu pozwalają na osiągnięcie lepszych wyników w dziedzinach wymagających myślenia domenowego, np. w matematyce, badaniach naukowych czy programowaniu komputerowym. Aby zmniejszyć ilość występowania halucynacji, stosowane są dodatkowe techniki jak automatyczne rozumowanie, RAG czy dostrajanie.

Oddziaływanie Istnieją opinie twierdzące, że nie ma możliwości rozróżnienia tekstu stworzonego przez duży model językowy i przez człowieka. Goldman Sachs w 2023 roku twierdził, że LLM-y są w stanie zwiększyć globalne PKB o 7% w ciągu dekady i bedą potrafiły wystawić na automatyzację pracę 300 mln osób.

Prawa autorskie W roku 2023, do sądów w Stanach Zjednoczonych wpłynęło kilka wniosków podważających używanie danych chronionych prawem autorskim do trenowania modeli językowych z obrońcami opierającymi się na instytucji fair use.

Bezpieczeństwo Duże modele językowe mogą być używane do tworzenia dezinformacji, w sposób świadomy lub nie lub do innych celów. Dostępność dużych modeli językowych może pozwolić na obniżenie poziom umiejętności wymaganych do popełnienia czynów bioterroryzmu.

Dodatkowo, istnieje możliwość osadzenia uśpionych inteligentnych agentów, czyli ukrytych funkcjonalności, które w normalnych warunkach nie wykonują akcji, a po uzyskaniu impulsu aktywującego, rozpoczynają wykonywania szkodliwych działań.

Aplikacje LLM zawierają odpowiednie filtry moderacyjne jednak nie są one w pełni efektywne i pozwalają na wykorzystanie jako technologia podwójnego zastosowania czy różnych nielegalnych operacji.

Stronniczość algorytmiczna Podczas gdy duże modele językowe są w stanie generować tekst przypominający ludzki, są skłonne do dziedziczenia i powiększania stronniczości zawartej w danych testowych. Stronniczość może się objawiać w błędnym i niesprawiedliwym traktowaniu różnych grup demograficznych.

Zdrowie psychiczne Badania oraz wpisy w mediach społecznościowych sugerują, że część osób korzysta z LLM-ów w poszukiwaniu terapii lub wsparcia psychologicznego. Z badania przeprowadzonego na Sentio University w 2025 r. wynika, że niemal połowa (48,7%) spośród 499 dorosłych Amerykanów z utrzymującymi się problemami psychicznymi, którzy korzystali z dużych modeli językowych, deklarowała zwracanie się do nich po terapię lub wsparcie emocjonalne, m.in. w radzeniu sobie z lękiem, depresją czy samotnością. Jednocześnie badania pokazują, że halucynacje modeli językowych – czyli wypowiedzi brzmiące wiarygodnie, lecz nieprawdziwe – we wrażliwych kontekstach związanych ze zdrowiem psychicznym mogą wprowadzać użytkowników w błąd. Z badań wynika również, że LLM potrafią przejawiać stygmatyzujące postawy lub w nieodpowiedni sposób potwierdzać dezadaptacyjne myśli, co podkreśla ograniczenia tych systemów w zakresie osądu i kompetencji relacyjnych. Oceny scenariuszy kryzysowych ujawniają ponadto, że w modelach może brakować skutecznych mechanizmów bezpieczeństwa, takich jak ocena ryzyka samobójstwa czy kierowanie użytkowników do odpowiednich form pomocy.

W tym kontekście, w 2025 roku podkreślano o 50% wyższy poziom sykofancji niż w przypadku ludzi, czyli skłonności dużych modeli językowych do przytakiwania użytkownikowi i potwierdzania jego opinii, nawet jeśli są one błędne, niebezpieczne lub irracjonalne. W obszarze zdrowia psychicznego, LLMy mogą powodować psychozę u osób podatnych. Problem był szczególnie widoczny w modelu GPT 4o, co zostało szybko poprawione i również naprawione w modelu GPT-5, gdzie liczba udzielania nadmierne pochlebnych lub ugodowych odpowiedzi spadła z 14,5% w poprzedniej wersji do mniej niż 6%.

Zobacz też benchmark modelu językowego mały model językowy model fundamentalny model rozumujący osadzanie słów postęp w sztucznej inteligencji

Przypisy

Linki zewnętrzne

Kategoria:Przetwarzanie języka naturalnego