Model nagradzania procesu Model nagradzania procesu (ang. process reward model, PRM), to technika nagradzania obliczająca nagrodę za krok określony na podstawie dotychczasowych kroków: .
Biorąc pod uwagę częściową ścieżkę kroków można zapytać człowieka, czy dotychczasowe kroki były poprawne, niezależnie od tego, czy ostateczna odpowiedź będzie poprawna. Można to następnie wykorzystać jako binarny sygnał nagrody. Ponieważ etykiety ludzkie są kosztowne, można udoskonalić model bazowy, aby przewidywał etykiety ludzkie. PRM jest zwykle trenowany metodą regresji logistycznej na etykietach ludzkich, tj. poprzez minimalizację straty entropii krzyżowej pomiędzy prawdziwymi etykietami a etykietami przewidywanymi.
OpenAI w 2023 opublikowała 800 tys. etykiet kroków dla 75 tys. procesów, zebranych w sposób manualny. Osoba etykietująca miała do dyspozycji kroki rozwiązania i oznaczana ścieżkę jako „pozytywną”, jeśli krok postępuje w kierunku rozwiązania, „neutralną”, jeśli nie jest błędna, ale nie postępuje w kierunku rozwiązania, i „negatywną”, jeśli jest błędna.