„Break It Up” opowiada o wokaliście The Doors, Jimie Morrisonie, i o zobaczeniu grobu artysty w Paryżu. „Elegie” opowiadało o fascynacji autorki gitarzystą Jimem Hendrixem. Tekst „Birdland” opiera się na wspomnieniu Petera Reicha z 1973 zatytułowanego A Book of Dreams, które opowiada o austriackim psychoanalityku Wilhelmie Reichu. Smith wspomina, że podczas nagrywania tego utworu wyobraziła sobie duszę Jimiego Hendriksa, obserwującą ją i jej zespół podczas nagrania. Horses zawiera także dwie interpretacje piosenek innych artystów: „Gloria”, radykalny cover zespołu Them, zawierający fragmenty poematu Smith pod tytułem „Oath”, oraz „Land”, w którym zamieszczono pierwszą zwrotkę „Land of a Thousand Dances” Chrisa Kennera i który ma oddawać cześć Arthurowi Rimbaudowi.
Okładka albumu Fotografia na okładce Horses została wykonana przy użyciu naturalnego światła przez amerykańskiego fotografa Roberta Mapplethorpe, bliskiego przyjaciela Patti Smith, w apartamencie Greenwich Village należącym do Sama Wagstaffa, partnera fotografa. Na okładce przedstawiona jest Smith, ubrana w prostą, białą koszulę i czarne spodnie, przewieszająca przez ramię czarną kurtkę. Na kurtce widoczna jest przypinka w kształcie konia, którą Smith otrzymała od przyjaciela, Allena Laniera.