Kariera amatorska Prichard Colón urodził się w Maitland, na Florydzie. Jego rodzicami są Richard Colón oraz Nieves Colón, emerytowana kelnerka. W wieku 10 lat ojciec podjął decyzję o przeprowadzce do Portoryko, aby umożliwić synowi reprezentowanie wyspy w zawodach sportowych. Colón przeniósł się tam wraz ze swoją młodszą siostrą, natomiast matka i starszy brat pozostali na Florydzie. Rodzina osiedliła się w miasteczku Orocovis, położonym w centralnej części wyspy.
Treningi bokserskie rozpoczął w ośrodku Albergue Olímpico w Salinas, gdzie zyskał przydomek „Digget” – pochodzący od angielskiego słowa digger, odnoszącego się do jego wzrostu. Po ukończeniu szkoły średniej podjął studia z zakresu administracji biznesowej na Universidad del Sagrado Corazón w San Juan.
Colón odnosił sukcesy jako amator, zdobywając pięć tytułów mistrza Portoryko w kategoriach wagowych 141 i 152 funtów. W 2010 roku wywalczył złoty medal na Mistrzostwach Panamerykańskich Młodzieży w kategorii do 64 kg. W 2012 roku wziął udział w kwalifikacjach olimpijskich rozgrywanych w Brazylii, starając się o awans na Letnie Igrzyska Olimpijskie w Londynie.