Jak sama wskazywała, związki jej rodziny z Austrią sięgają stu lub stu pięćdziesięciu lat. W dokumentach oraz drukach urzędowych figurowała jako Margarete Horvath. Ceija Stojka, imię używane w macierzystej społeczności artystki, a także to pod którym jest najszerzej znana, w języku romskim oznacza córka Stojki.
Jej rodzina prowadziła tradycyjny, koczowniczy tryb życia, utrzymując się przy tym z handlu końmi. Tabor, którego część stanowili, zimy spędzał z reguły w Wiedniu, resztę roku natomiast na austriackiej prowincji. W związku z tym tak bracia, jak i siostry Stojki przyszły na świat w różnych regionach kraju. Rodzice przyszłej artystki zawarli wyłącznie ślub zgodnie z wymogami romskiego prawa zwyczajowego. Jakkolwiek pierwsze lata jej życia upłynęły w spokoju to otoczenie, w którym wzrastała od samego początku, pełne było uprzedzeń wobec Romów. Powszechne również były w nim akty ich zinstytucjonalizowanej dyskryminacji. Od 1928 ludność romska przebywająca na obszarze Burgenlandu zobowiązana była do rejestracji w specjalnie do tego utworzonym rejestrze cygańskim. W 1933 w tym samym kraju związkowym pojawiły się ponadto wezwania by pozbawić Romów praw obywatelskich. Po reformie z 1929 tak zwaną walkę z problemem cygańskim uczyniono w Austrii kwestią, za którą odpowiedzialne były władze federalne.