Sieci neuronowe w tym okresie były zazwyczaj trenowane jako modele dyskryminacyjne ze względu na trudności związane z modelowaniem generatywnym.
W miarę jak uczenie głębokie zyskiwało na popularności w latach 2010., coraz większym zainteresowaniem cieszyły się modele generowania obrazów z wykorzystaniem głębokich sieci neuronowych, takie jak oparty na sieciach konwolucyjnych. W 2014 roku pojawiły się przełomowe rozwiązania, takie jak autoenkodery wariacyjne i generatywne sieci przeciwstawne (GAN) pozwalające na tworzenie bardziej zaawansowanych modeli generatywnych.
Przedstawiona w 2017 architektura transformerów umożliwiła postęp w modelach generatywnych w porównaniu do starszych modeli wykorzystujących długą pamięć krótkotrwałą. Doprowadziło to do stworzenia architektury GPT-1 w 2018 i GPT-2 w 2019.
Nowe modele generatywne wprowadzone w tym okresie pozwoliły na uczenie nienadzorowane, co pozwoliło na znaczne ograniczenie lub eliminację czynnika ludzkiego w przygotowywaniu zbiorów uczących, co pozwoliło na tworzenie dużych modeli językowych.