2 lutego 2025 OpenAI wydała Deep Research integrujące wnioskowanie i wyszukiwanie w sieci, dzięki czemu użytkownicy mogą wysyłać złożone zadania wymagające wieloetapowego wnioskowania i syntezy danych z wielu źródeł. Bazuje na modelu o3, a generowanie raportów wnioskowania mogło zająć od 5 do 30 minut.
Uczenie przez wzmacnianie Trening RLMów za pomocą uczenia przez wzmacnianie polega na skonstruowaniu modelu nagrody aby kierować procesem RL. Intuicyjnie model nagrody opisuje, jak pożądana/właściwa/dobra jest reakcja na dane polecenie. W przypadku RLMa polecenie opisuje zadanie wymagające rozumowania, a nagroda będzie wysoka, jeśli odpowiedź rozwiąże zadanie, lub niska, jeśli odpowiedź nie rozwiąże zadania.
W przypadku RLMów odpowiedź modelu można podzielić na wiele kroków, w takim przypadku zapisuje się je jako .
Model nagradzania wyniku Model nagradzania wyniku (ang. outcome reward model, ORM), to technika obliczająca nagrodę za krok określone na podstawie ostatecznej odpowiedzi: .
ORM jest zwykle trenowany poprzez regresję logistyczną, która minimalizuje stratę entropii krzyżowej.
DeepSeek skorzystał z techniki ORM do trenowania modelu R1.