Na Dalekim Wschodzie jałowiec pospolity rośnie na Kamczatce, Sachalinie i Wyspach Japońskich (brak go na Czukotce).
W Polsce gatunek jest rozpowszechniony na całym obszarze. Najliczniej występuje w północno-wschodniej części kraju, na Mazowszu i w rejonie Bydgoszczy. Stosunkowo najrzadziej spotykany jest w Polsce południowo-zachodniej. Lokalnie brak go zupełnie w obszarach intensywnie użytkowanych rolniczo (Żuławy Wiślane, Równina Pyrzycka, centralna Wielkopolska). W górach odmiana typowa spotykana jest do wysokości 1350 m n.p.m. (Smytniańskie Turnie w Tatrach), a odmiana halna do 2350 m n.p.m. (Ostry Szczyt).
Morfologia thumb|Pęd z igłami thumb|Korowina na pniu drzewiastego jałowca Pokrój Zawsze zielony, powoli rosnący, od nasady rozgałęziony krzew o kolumnowej, niekiedy także płasko rozpostartej formie wzrostu. Występuje również jako małe drzewo, zazwyczaj o wielu pniach, z wąsko piramidalną (tylko rzadko spłaszczoną) koroną. Osiąga wysokość zwykle do 11 m (rzadko do 20 metrów). Za największy jałowiec uznawany jest okaz o obwodzie w pierśnicy wynoszącym 2,8 m, rosnący w prowincji Närke w środkowej Szwecji. W Polsce rósł w Neplach nad Bugiem okaz, który zmierzony po wywróceniu przez wiatr w 1958 miał 12,9 m wysokości i 3,02 m obwodu w pierśnicy. Obecnie najgrubszy znany w Polsce jałowiec ma obwód 134 cm w pierśnicy.