W 1969 roku zespół rejestruje piosenkę Born to Be Wild (nie mającą nic wspólnego z utworem Steppenwolf o tym samym tytule), dzięki której udało się formacji podpisać kontrakt nagraniowy z nowym wówczas wydawnictwem RCA, wydającą muzykę tzw. środka; Horse był jednym z pierwszych wydanych zespołów w historii firmy. Podpisano także umowę z firmą Chrysalis na promowanie i reklamowanie płyty. W okresie świąt Bożego Narodzenia 1969 zespół wszedł do studia nagraniowego Olympic Studio Two w Barnes gdzie pod kierunkiem George Chkiantz jako reżysera dźwięku zarejestrowali album Horse. Producent ten współpracował w owym czasie z The Rolling Stones, którzy w tym samym okresie nagrywali Studio One. Nagrywana muzyka zainteresowała samego Keitha Richardsa, który w wolnych chwilach spędzał z Horse w studio wiele czasu.
Album został wydany na początku roku 1970, równolegle zespół Horse udał się w trasę koncertową z Deep Purple i Family. W kwietniu 1971 roku zespół traci perkusistę (który przechodzi do Atomic Rooster) a następnie w połowie roku 1971 oficjalnie rozwiązuje się.