Goldman napisała w późniejszym czasie: „Jakakolwiek miłość, którą w sobie miała, umarła wraz z młodym mężczyzną, za którego wyszła za mąż w wieku piętnastu lat”.
Drugie małżeństwo Taube zostało zaaranżowane przez jej rodzinę i, jak to ujęła Goldman, „nie pasowało w porównaniu do pierwszego”. Jej drugi mąż, Abraham Goldman, zainwestował spadek Taube w biznes, który szybko upadł. Wynikające z tego trudności, w połączeniu z emocjonalnym dystansem między mężem a żoną, sprawiły, że dom był dla dzieci miejscem pełnym napięć. Kiedy Taube zaszła w ciążę, Abraham miał rozpaczliwą nadzieję na syna; córka, jak sądził, byłaby jeszcze jednym znakiem porażki. Ostatecznie dorobili się trzech synów, ale ich pierwszym dzieckiem była Emma.
Emma urodziła się 27 czerwca 1869. Jej ojciec stosował przemoc wobec swych dzieci, bijąc je, gdy były nieposłuszne. Na Emmie, najbardziej zbuntowanej z nich, używał pejcza. Jej matka nie potrafiła zapewnić jej zbyt wielkiego pocieszenia, sporadycznie przekonując Abrahama do złagodzenia bicia. Goldman spekulowała później, że wściekły temperament ojca był przynajmniej częściowo wynikiem frustracji seksualnej.