Sprzedał swoją gitarę basową marki Fender basiście The Jimi Hendrix Experience, Noelowi Reddingowi, po czym opuścił zespół wyjeżdżając z Daevidem Allenem na Ibizę. Tam napisał piosenki, które znalazły się na jego debiutanckim albumie, Joy of a Toy. W nagrywaniu utworów wzięli gościnnie udział jego byli koledzy z Soft Machine: Robert Wyatt i Mike Ratledge, a także jego następca, Hugh Hopper. Album został wydany w 1969 przez wytwórnię Harvest Records, z którą Ayers wcześniej podpisał kontrakt. Album ten zapoczątkował jego własny styl: zróżnicowane utwory, od świadomie udziwnionych do łatwo wpadających w ucho, śpiewane charakterystycznym, dźwięcznym głosem. Album był bardziej zwarty i łagodniejszy w nastroju, niż repertuar Soft Machine. Pod pewnymi względami styl Ayersa był porównywany do estetyki Syda Barretta, choć bez ekscytacji i szczytowych emocji tego ostatniego.