Lee był krewnym prezydenta USA Zacharego Taylora
W marcu 1824 Lee otrzymał nominację do akademii wojskowej w West Point, ale ze względu na dużą liczbę przyjmowanych kadetów musiałby poczekać rok, aby rozpocząć tam studia. Akademię Lee ukończył z drugim najlepszym wynikiem w swoim roczniku w stopniu podporucznika w Korpusie Inżynieryjnym Armii Stanów Zjednoczonych. Następnie otrzymał nadzór nad budową Fortu Pułaski w Savannah, funkcję tę sprawował przez 17 miesięcy, później został przeniesiony do Fort Monroe na krańcu półwyspu Wirginia. W 1834 został przeniesiony do Waszyngtonu jako asystent gen. bryg. Charlesa Gratiota. W połowie 1835 Lee został przydzielony do pomocy Andrew Talcottowi w badaniu południowej granicy Michigan. Celem wyprawy było wydzielenie granicy między stanami Ohio i Michigan. W latach 1834–1837 Lee pracował jako asystent w biurze głównego inżyniera w Waszyngtonie. W 1837 nadzorował prace inżynieryjne dla portu w Saint Louis. Od 1842 służył w Fort Hamilton.
Wojna amerykańsko-meksykańska Wyróżnił się w wojnie amerykańsko-meksykańskiej. Był jednym z głównych pomocników Winfielda Scotta w marszu z Veracruz do Meksyku. Odegrał znaczącą rolę w kilku zwycięstwach wojsk amerykańskich.