Zaczęły pojawiać się pierwsze problemy w małżeństwie Elżbiety. Wielka księżna nie znalazła spełnienia jej romantycznej duszy w swoim mężu, który ją zaniedbywał. Elżbieta szukała emocjonalnej pociechy gdzie indziej. Początkowo znalazła pocieszenie w intymnej przyjaźni z piękną hrabiną Golowiną. Później połączył ją romantyczny związek z najlepszym przyjacielem Aleksandra, Adamem Jerzym Czartoryskim, który trwał trzy lata.
Po ponad pięciu latach bezdzietnego małżeństwa, 29 maja 1799 roku, Elżbieta urodziła córkę, wielką księżnę Marię Aleksandrowną. Na dworze pojawiły się pogłoski, że ojcem dziecka jest polski książę. Dziecko miało czarne włosy i ciemne oczy. Na chrzcie car Paweł był zdumiony, że dziecko ma taki wygląd, mając rodziców o blond włosach i niebieskich oczach. Elżbieta Aleksiejewna wkrótce straciła i kochanka, i córkę. lewo|mały|260x260px|Elżbieta razem ze swoim mężem, Aleksandrem Adam Czartoryski został wysłany na misję dyplomatyczną, a Maria zmarła. Od dzisiejszego ranka nie mam córki, ona nie żyje, pisała do matki 27 lipca 1800 roku. Nie ma godziny żebym o niej nie myślała i godziny bez gorzkich łez. Nie może być inaczej, nawet jeśli miałyby ją zastąpić dwa tuziny dzieci.