Debiutował na ekranie w niewielkiej roli Kaya Rawlinsa w westernie Rocky Mountain (1950) z Errolem Flynnem. W klasycznym westernie Freda Zinnemanna W samo południe (High Noon, 1952) z udziałem Gary’ego Coopera i Grace Kelly zagrał zabójcę Bena Millera. W sumie wystąpił w ponad 60 filmach, między innymi w westernie George’a Stevensa Olbrzym (Giant, 1956) z Jamesem Deanem czy dramacie Mistrzowski rzut (Hoosiers, 1986) z Gene’em Hackmanem.
Wooley był pięć razy żonaty. Jego pierwszą żoną była Melva Loree Miller, którą poślubił 21 maja 1940. Sześć lat później (1947) zawarł związek małżeński w Fort Worth w Teksasie z Edną Talbott Bunt, z którą się rozwiódł 2 kwietnia 1953. Od 26 stycznia 1955 do czerwca 1974 przez 19 lat jego trzecią żoną była Beverly Irene Torrence (Addington), adoptowali córkę, Chrystie Lynn. 27 marca 1976 ożenił się z Deanną Grughlin, a następnie 31 stycznia 1985 ze swoją menadżerką Lindą Sue Dotson, która miała już córkę Shaunę.
W 1996 u Wooleya zdiagnozowano białaczkę, co zmusiło go do wycofania się z występów publicznych w 1999. Po siedmiu latach walki z chorobą, zmarł 16 września 2003 w Skyline Medical Center w Nashville w wieku 82 lat.