Najważniejsze części agenta:
Polityka (ang. Policy) – to funkcja, która na wejście przyjmuje obserwację, a zwraca akcję. To ona odpowiada za zachowanie agenta. Jako politykę najczęściej stosuje się sieć neuronową (uczenie polega na aktualizowaniu jej parametrów) lub funkcję zwracającą losową akcję (najczęściej używa się jej do wstępnego zebrania informacji o środowisku przed rozpoczęciem uczenia). Agent zawiera dwie polityki: Główna polityka (ang. policy) – polityka stosowana do ewaluacji agenta i w środowisku produkcyjnym. Polityka kolekcjonująca (ang. collect policy) – używana podczas uczenia do zbierania informacji o środowisku. Inne hiperparametry – w zależności od rodzaju agenta możemy podać także różne hiperparametry np. regulujące proces uczenia jak gamma czy maksymalne Q-wartości.
Bufor Bufor (ang. Replay Buffer) to kontener danych przechowujący informacje zebrane przez agenta podczas uczenia.