Trzon przyszłego Gentle Giant, tworzyli trzej bracia, pochodzenia szkocko-żydowskiego: Phil Shulman (ur. 27 sierpnia 1937), Derek Shulman (ur. 11 lutego 1947) i Ray Shulman (ur. 8 grudnia 1949, zm. 30 marca 2023). Phil i Derek urodzili się w Glasgow, w Szkocji, w dzielnicy Gorbals, która była wówczas osławionym slumsem. Później rodzina przeniosła się do Portsmouth w Anglii, gdzie urodził się Ray. Ich ojciec był muzykiem wojskowym, który z czasem stał się trębaczem jazzowym i kontynuował swoją pracę muzyczną w Portsmouth. Zachęcał on swoich synów do nauki gry na różnych instrumentach, i w efekcie z czasem Phil, Derek i Ray, stali się multiinstrumentalistami. Na początku lat 60. Derek i Ray zainteresowali się graniem rhythm and bluesa i założyli razem zespół. Phil – początkowo pełniący rolę menadżera, aby opiekować się swoimi o wiele młodszymi braćmi – w końcu sam został członkiem zespołu.
„[To był] dom pełen muzyków i instrumentów... Zacząłem uczyć się gry na trąbce, gdy miałem pięć lat, bo tam była, a potem, gdy miałem siedem lat, zacząłem grać na skrzypcach. Kazano nam ćwiczyć co najmniej godzinę dziennie, kiedy tak naprawdę chcieliśmy wyjść i pobawić się... W końcu i tak chciałem to zrobić...