Do ukończenia czterech lat mieszkała z nianią w Neuilly-sur-Seine. Gdy po śmierci pierwszego męża opiekunka przyjęła oświadczyny dozorcy ubogiej kamienicy czynszowej, usiłowała oddać matce dziecko pod opiekę, lecz kiedy okazało się, że wyjechała ona z baronem Larrey do Szwajcarii, nie zostawiając nowego adresu (podobnie jej siostra Rosine wyjechała w towarzystwie majętnego przyjaciela do uzdrowiska Baden-Baden), zabrała dziewczynkę do nowego mieszkania przy 65 . Za dnia bawiła się na podwórku kamienicy i ulicy z okolicznymi dziećmi. Sypiała na desce do prasowania w wilgotnej i nieogrzewanej izbie, przeznaczonej dla dozorcy. Warunki te spowodowały, że w dzieciństwie i latach dziewczęcych chorowała na gruźlicę – pluła krwią i gorączkowała. Lekarze prognozowali, że nie dożyje dwudziestu lat.
Gdy matka wróciła do miasta, zabrała córkę do swojego mieszkania przy 265 rue Saint-Honoré. Nie zmieniła obojętnego stosunku do niej, a zdaniem Skinner jej obecność miała krępować ją w rozwijaniu działalności. Dodatkowo spodziewała się drugiego dziecka, córki Jeanne (1851–1900), którą faworyzowała. Mieszkała z matką przez trzy lata, od czasu do czasu przebywając również pod opieką ciotki Rosine.