Na Politechnice Wrocławskiej pełnił funkcje: prodziekana do spraw dydaktyki (1963–1964), prodziekana do spraw nauki (1965–1968) i dziekana Wydziału Budownictwa Lądowego (1968–1971). Od 1964 do 1992 roku był kierownikiem Zakładu Mostów na Politechnice Wrocławskiej. W latach 1971–1981 był dyrektorem Instytutu Inżynierii Lądowej, a od 1984 do 1990 roku pełnił funkcję rektora Politechniki Wrocławskiej. W latach 1989–1990 był przewodniczącym autonomicznej Konferencji Rektorów Wyższych Szkół Technicznych w Polsce.
Był członkiem Centralnej Komisji do Spraw Stopni i Tytułów (Sekcja VI – Nauk Technicznych) oraz Polskiej Akademii Nauk (Wydział IV – Nauk Technicznych; Komitet Inżynierii Lądowej i Wodnej). Ponadto był członkiem Komitetu Nagród Państwowych oraz Komitetu Inżynierii Lądowej i Wodnej PAN; jest: Wrocławskiego Towarzystwa Naukowego, Polskiego Związku Inżynierów i Techników Budownictwa, Polskiego Towarzystwa Mechaniki Teoretycznej i Stosowanej, Związku Mostowców Rzeczypospolitej Polskiej.
Jan Kmita jest m.in. projektantem mostów z betonu sprężonego: przez Nysę Kłodzką w Kłodzku (1958) oraz mostu Pokoju we Wrocławiu (1959).