W lutym 1870 r. członek Izby Reprezentantów USA, Benjamin F. Whittemore, zrezygnował z zasiadania w Izbie pod zarzutem korupcji. Partia Republikańska nominowała wówczas Raineya jako kandydata do dokończenia kadencji w 41. Kongresie. Został następnie wybrany także do 42. Kongresu i trzech kolejnych. Zasiadał zatem w Izbie Reprezentantów od 12 grudnia 1870 do 3 marca 1879 roku.
Obejmując urząd 12 grudnia 1870 r., Rainey został pierwszym Afroamerykaninem w Izbie Reprezentantów. Zasiadał w komisjach: ds. wyzwoleńców, ds. Indian, ds. świadczeń dla weteranów. 1 stycznia 1871 r. wygłosił swoją pierwszą większą mowę, gdy przekonywał do przyjęcia ustawy o Ku Klux Klanie, która miała doprowadzić do zwalczania organizacji białych suprematystów przez rząd federalny, ponieważ władze stanowe nie podejmowały działań w tym zakresie.
W 1872 r. Rainey nie miał w wyborach kontrkandydata, a dwa lata później wygrał z wynikiem 52% z Afroamerykaninem, Samuelem Lee, dawnym spikerem Izby Reprezentantów Karoliny Południowej. Chociaż Lee zakwestionował prawidłowość oddania niektórych głosów, komisja wyborcza podtrzymała ostateczny rezultat wyborów.