cmentarzu uczonych w Królewcu (cmentarzu parafialnym przy kościele w Neurossgärter).

Praca naukowa Caspary zajmował się wieloma dziedzinami biologii, ale głównie roślinami, zwłaszcza roślinami słodkowodnymi, systematyką rodziny grzybieniowatych (Nymphaeaceae) i wawrzynowatych (Lauraceae). Badał także wzrost drzew, interesował się odchyleniami w ich formowaniu i strukturze naczyń przewodzących w drewnie. Zasłynął także jako paleobotanik. W szczególności zajmował się inkluzjami botanicznymi w bursztynie bałtyckim. Z jego pism praca Die Angiospermern des Bernsteins, opublikowana w 1886 r., uznawana jest do dzisiaj za standardową pracę w tej dziedzinie badań.

Wraz z Juliusem von Klinggraeffem założył w Królewcu Vereinigung der Freunde der Flora Preussens (Towarzystwo Miłośników Flory Prus), które przekształciło się w Preussische Botanische Verein (Pruskie Towarzystwo Botaniczne). Caspary był przewodniczącym tych towarzystw i współtworzył plan badań flory Prus, koordynował pracę innych botaników i wysyłał młodszych botaników w różne obszary Prus w celu uzupełniania wiedzy o ich florze. Raporty z badań florystycznych i sprawozdania z działalności towarzystwa zamieszczał w roczniku Jahresbericht der Preußischen Botanischen Vereins. Od czasu pracy w Berlinie zajmował się zwłaszcza roślinami wodnymi.