Agent powinien uczyć się przewidywać długoterminowe skutki swoich akcji, często rezygnując z jednej nagrody na rzecz większej w przyszłości, to jak bardzo będzie skłonny do patrzenia na przyszłe nagrody zależy od jego hiperparametru: stopy dyskontowej, oznaczanej jako . Waga nagród za kroków od obecnego wynosi , w większości przypadków zaleca się, żeby . Obserwacja (ang. observation) – skalar, wektor lub macierz zwracana przez krok, mająca opisać obecny stan środowiska (zazwyczaj im bardziej złożone jest środowisko tym bardziej jest skomplikowana, nie jest to jednak reguła). Wartość ta jest następnie mapowana przez agenta na akcję, którą wykona w następnym kroku.
Powszechnym zwyczajem jest tworzenie dwóch środowisk – jednego do trenowania, a drugiego do sprawdzania. alt=Wykres nagroda środowiska „CartPole-v1”|mały|Wykres nagrody uzyskiwanej przez algorytm C51 w środowisku CartPole-v1, wygenerowany automatycznie przez bibliotekę matplotlib. Możemy zauważyć niestabilność zmian spowodowaną wychodzeniem z lokalnych minimów oraz stopniowy wzrost nagrody na przestrzeni iteracji.
Agent Agent (ang. agent) to element, który wchodzi w interakcję ze środowiskiem. Zadaniem agenta jest wspomniane wyżej maksymalizowanie nagrody – nauczenie się jak najkorzystniejszego oddziaływania ze środowiskiem.