Od młodości pragnął zostać inżynierem i w latach 1875–1879 odbył studia z zakresu inżynierii mechanicznej na politechnice w Monachium, finansując je przy pomocy stypendiów i zarabiając udzielając lekcji prywatnych. W 1878 roku opublikował pierwsze artykuły naukowe, plany konstrukcji maszyny parowej o najwyższej wydajności. Inspiracją do pracy nad bardziej wydajną maszyną parową były wykłady Carla von Linde (1842–1934). Studia ukończył z najlepszym wynikiem w dotychczasowej historii uczelni.
Po studiach pracował dla Lindego przy konstrukcji nowoczesnych chłodziarek i wytwornic sztucznego lodu, a po roku został dyrektorem wytwórni sztucznego lodu w Paryżu. W 1881 roku zaczął współpracować z inżynierem Heinrichem Buzem (1833–1918), ówczesnym dyrektorem „Maschinenfabrik Augsburg AG” (późniejszej „Maschinenfabrik Augsburg-Nürnberg Aktiengesellschaft”, współczesnej MAN SE). W tym samym roku uzyskał swój pierwszy patent, obejmując ochroną prawną metodę wytwarzania lodu w butelkach.
W 1883 roku ożenił się w Monachium z Martą Flasche (1860–1944), z którą miał trójkę dzieci, dwóch synów i córkę. Syn Eugen Diesel (1889–1970) był pisarzem.